Общее понятие индексации

До того, как web-сайт появится в выдаче поисковых систем, следует позаботиться о том, чтобы он был проиндексирован поисковыми системами. Индексация web-сайта заключается в том, что поисковый робот посещает созданный сайт, анализирует его, а затем заносит информацию об интернет-ресурсе в базу данных конкретной поисковой системы.

Все страницы сайта, которые занесены в индекс поисковой системы, по конкретному запросу поиска отображаются в выдаче поисковых систем. Если какая-либо странице не проиндексирована, тогда пользователь не увидит ее в результатах поиска, поскольку у поисковой системы нет о ней никакой информации.

Как поисковая система узнает о сайте?

Уже на этапе создания собственного сайта появляется вопрос, как поисковые системы узнают о новом ресурсе в сети Интернет. Сообщить о новом web-сайте поисковой системе можно двумя способами:

1. Добавив адрес сайта вручную через стандартную форму поисковой системы. При этом web-сайт попадает в очередь на его индексацию поисковым роботом. При ручном добавлении сайта следует помнить, что вносить нужно только адрес главной страницы интернет-ресурса. Остальные страницы поисковый робот найдет по ссылкам на них.

2. Автоматическим добавлением сайта поисковым роботом. Чтобы робот нашел сайт самостоятельно, необходимо, чтобы с проиндексированных ресурсов на новый сайт вела внешняя ссылка. Этот способ специалистами признан лучшим, в частности, по временным затратам. Получив несколько внешних ссылок, можно просто дождаться посещения сайта роботом. Если же ресурс добавляется вручную, то на индексацию сайта может потребоваться больше времени. Как правило, этот процесс занимает до двух недель (время индексации зависит от конкретной поисковой системы).

Дружественность web-сайта для поисковых роботов

Большое количество web-сайтов успешно проходят индексацию поисковыми системами. Но, чтобы оградить себя от неприятных неожиданностей, стоит знать о некоторых моментах, которые имеют место во время создания сайта.

Еще на этапе разработки сайта нужно позаботиться о том, чтобы он был дружественным к поисковым роботам. Чтобы этого достигнуть, нужно учитывать такие критерии:

1. Каждая web-страница должна быть доступной по ссылкам с главной страницы сайта максимум за три перехода. Если структура разрабатываемого ресурса не позволяет придерживаться этого правила, тогда необходимо создать карту web-сайта.

2. При использовании навигации по сайту, которая реализована через скрипты, следует все ссылки продублировать традиционным способом.

3. Особое внимание нужно обратить на объем страниц сайта. Поисковые системы индексируют всего лишь от 100 до 200 Кб текста на одной web-странице. Если страницы сайта имеют больший объем, тогда поисковики проиндексируют только первые 200 Кб. Если необходимо, чтобы страница была проиндексирована целиком, стоит проследить, чтобы ее объем не превышал 100 Кб.

Управление поисковым роботом

При индексации сайта на поведение поисковых роботов можно повлиять. Это делается тремя способами:

- явным разрешением на индексацию некоторых страниц с помощью файла robots.txt;
- запретом на индексацию тех или иных web-страниц сайта с помощью robots.txt;
- закрытием для индексации поисковым роботом отдельных частей страниц ресурса с помощью тега «NOINDEX» (способ подходит только для российских поисковых систем).

Базы данных всех поисковых систем регулярно обновляются, это приводит к тому, что количество проиндексированных страниц web-сайта может меняться время от времени. Одной из причин исчезновения web-страницы из индекса чаще всего является отсутствие доступа к ней во время недоступности сервера. Когда работоспособность сервера возобновляется, тогда сайт и его страницы вновь появляются в индексе поисковых систем. В то же время, чем больше внешних ссылок на ресурс, тем быстрее web-сайт проходит переиндексацию.

Чтобы самостоятельно отследить процесс индексации интернет-ресурса, стоит проанализировать лог-файлы сервера, где есть информация о каждом визите поисковых роботов систем.