Понятие индексации web-сайта.

Общее понятие индексации

До того, как web-сайт появится в выдаче поисковых систем, следует позаботиться о том, чтобы он был проиндексирован поисковыми системами. Индексация web-сайта заключается в том, что поисковый робот посещает созданный сайт, анализирует его, а затем заносит информацию об интернет-ресурсе в базу данных конкретной поисковой системы.

Все страницы сайта, которые занесены в индекс поисковой системы, по конкретному запросу поиска отображаются в выдаче поисковых систем. Если какая-либо странице не проиндексирована, тогда пользователь не увидит ее в результатах поиска, поскольку у поисковой системы нет о ней никакой информации.

Как поисковая система узнает о сайте?

Уже на этапе создания собственного сайта появляется вопрос, как поисковые системы узнают о новом ресурсе в сети Интернет. Сообщить о новом web-сайте поисковой системе можно двумя способами:

1. Добавив адрес сайта вручную через стандартную форму поисковой системы. При этом web-сайт попадает в очередь на его индексацию поисковым роботом. При ручном добавлении сайта следует помнить, что вносить нужно только адрес главной страницы интернет-ресурса. Остальные страницы поисковый робот найдет по ссылкам на них.

2. Автоматическим добавлением сайта поисковым роботом. Чтобы робот нашел сайт самостоятельно, необходимо, чтобы с проиндексированных ресурсов на новый сайт вела внешняя ссылка. Этот способ специалистами признан лучшим, в частности, по временным затратам. Получив несколько внешних ссылок, можно просто дождаться посещения сайта роботом. Если же ресурс добавляется вручную, то на индексацию сайта может потребоваться больше времени. Как правило, этот процесс занимает до двух недель (время индексации зависит от конкретной поисковой системы).

Дружественность web-сайта для поисковых роботов

Большое количество web-сайтов успешно проходят индексацию поисковыми системами. Но, чтобы оградить себя от неприятных неожиданностей, стоит знать о некоторых моментах, которые имеют место во время создания сайта.

Еще на этапе разработки сайта нужно позаботиться о том, чтобы он был дружественным к поисковым роботам. Чтобы этого достигнуть, нужно учитывать такие критерии:

1. Каждая web-страница должна быть доступной по ссылкам с главной страницы сайта максимум за три перехода. Если структура разрабатываемого ресурса не позволяет придерживаться этого правила, тогда необходимо создать карту web-сайта.

2. При использовании навигации по сайту, которая реализована через скрипты, следует все ссылки продублировать традиционным способом.

3. Особое внимание нужно обратить на объем страниц сайта. Поисковые системы индексируют всего лишь от 100 до 200 Кб текста на одной web-странице. Если страницы сайта имеют больший объем, тогда поисковики проиндексируют только первые 200 Кб. Если необходимо, чтобы страница была проиндексирована целиком, стоит проследить, чтобы ее объем не превышал 100 Кб.

Управление поисковым роботом

При индексации сайта на поведение поисковых роботов можно повлиять. Это делается тремя способами:

- явным разрешением на индексацию некоторых страниц с помощью файла robots.txt;
- запретом на индексацию тех или иных web-страниц сайта с помощью robots.txt;
- закрытием для индексации поисковым роботом отдельных частей страниц ресурса с помощью тега «NOINDEX» (способ подходит только для российских поисковых систем).

Базы данных всех поисковых систем регулярно обновляются, это приводит к тому, что количество проиндексированных страниц web-сайта может меняться время от времени. Одной из причин исчезновения web-страницы из индекса чаще всего является отсутствие доступа к ней во время недоступности сервера. Когда работоспособность сервера возобновляется, тогда сайт и его страницы вновь появляются в индексе поисковых систем. В то же время, чем больше внешних ссылок на ресурс, тем быстрее web-сайт проходит переиндексацию.

Чтобы самостоятельно отследить процесс индексации интернет-ресурса, стоит проанализировать лог-файлы сервера, где есть информация о каждом визите поисковых роботов систем.


23 Сентября 2009
Количество показов: 11692
Автор:  Светлана Сергеева

Возврат к списку


(Голосов: 14, Рейтинг: 3.89)

Новые темыОбъявленияСвободное общение
00:13 Яндекс выдача 28 февраля | Крайняя выдача в феврале 2021 года 
23:08 Подскажите нужно ли открытие каталога на сайте по наведению или лучше сделать по клику? 
20:24 Правительство Японии одобрило законопроект о мерах против травли в соцсетях 
20:04 Настроить поставщиков в программе E-Trade PriceList Importer 
02:52 Родительская страница получет вес от дочерней? 
22:18 Выдача 26.02.2021 
21:50 26.02.2021 ап ИКС 
21:06 SMMBanda.com | Живые просмотры YouTube, TikTok, Instagram, VK, Facebook, Twitter, Одноклассники. Лайки, комментарии, подписчики, репосты 
09:05 Информационный портал по цене вечной лицензии DLE 
08:32 Программа склика рекламы в поисковых системах (ПФ, CTR, поисковые подсказки - Begemotik.pro 
22:28 Раскрутка Instagram, YouTube, TikTok, Twitter, Вконтакте, Telegram, Twitch, Likee - smmservis.ru 
20:10 Ищем работу 
18:26 Обмен/Вывод криптовалют и электронных денег в разных странах 
16:35 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
23:15 Подскажите сервис. Выполнение заданий за деньги 
13:52 Проверяем "Анализ сайта" 
21:30 Назван способ накопить на ежемесячную пенсию в 100 тыс. рублей 
15:44 Как получать криптовалюту бесплатно 
23:44 СМИ: главы Twitter, Facebook и Google выступят на слушаниях в Конгрессе 
18:06 Кто работает (работал) с leadia.org? 
16:17 Монетизация юридического трафика. Какие юридические партнёрки нормально платят сейчас?