Понятие индексации web-сайта.

Общее понятие индексации

До того, как web-сайт появится в выдаче поисковых систем, следует позаботиться о том, чтобы он был проиндексирован поисковыми системами. Индексация web-сайта заключается в том, что поисковый робот посещает созданный сайт, анализирует его, а затем заносит информацию об интернет-ресурсе в базу данных конкретной поисковой системы.

Все страницы сайта, которые занесены в индекс поисковой системы, по конкретному запросу поиска отображаются в выдаче поисковых систем. Если какая-либо странице не проиндексирована, тогда пользователь не увидит ее в результатах поиска, поскольку у поисковой системы нет о ней никакой информации.

Как поисковая система узнает о сайте?

Уже на этапе создания собственного сайта появляется вопрос, как поисковые системы узнают о новом ресурсе в сети Интернет. Сообщить о новом web-сайте поисковой системе можно двумя способами:

1. Добавив адрес сайта вручную через стандартную форму поисковой системы. При этом web-сайт попадает в очередь на его индексацию поисковым роботом. При ручном добавлении сайта следует помнить, что вносить нужно только адрес главной страницы интернет-ресурса. Остальные страницы поисковый робот найдет по ссылкам на них.

2. Автоматическим добавлением сайта поисковым роботом. Чтобы робот нашел сайт самостоятельно, необходимо, чтобы с проиндексированных ресурсов на новый сайт вела внешняя ссылка. Этот способ специалистами признан лучшим, в частности, по временным затратам. Получив несколько внешних ссылок, можно просто дождаться посещения сайта роботом. Если же ресурс добавляется вручную, то на индексацию сайта может потребоваться больше времени. Как правило, этот процесс занимает до двух недель (время индексации зависит от конкретной поисковой системы).

Дружественность web-сайта для поисковых роботов

Большое количество web-сайтов успешно проходят индексацию поисковыми системами. Но, чтобы оградить себя от неприятных неожиданностей, стоит знать о некоторых моментах, которые имеют место во время создания сайта.

Еще на этапе разработки сайта нужно позаботиться о том, чтобы он был дружественным к поисковым роботам. Чтобы этого достигнуть, нужно учитывать такие критерии:

1. Каждая web-страница должна быть доступной по ссылкам с главной страницы сайта максимум за три перехода. Если структура разрабатываемого ресурса не позволяет придерживаться этого правила, тогда необходимо создать карту web-сайта.

2. При использовании навигации по сайту, которая реализована через скрипты, следует все ссылки продублировать традиционным способом.

3. Особое внимание нужно обратить на объем страниц сайта. Поисковые системы индексируют всего лишь от 100 до 200 Кб текста на одной web-странице. Если страницы сайта имеют больший объем, тогда поисковики проиндексируют только первые 200 Кб. Если необходимо, чтобы страница была проиндексирована целиком, стоит проследить, чтобы ее объем не превышал 100 Кб.

Управление поисковым роботом

При индексации сайта на поведение поисковых роботов можно повлиять. Это делается тремя способами:

- явным разрешением на индексацию некоторых страниц с помощью файла robots.txt;
- запретом на индексацию тех или иных web-страниц сайта с помощью robots.txt;
- закрытием для индексации поисковым роботом отдельных частей страниц ресурса с помощью тега «NOINDEX» (способ подходит только для российских поисковых систем).

Базы данных всех поисковых систем регулярно обновляются, это приводит к тому, что количество проиндексированных страниц web-сайта может меняться время от времени. Одной из причин исчезновения web-страницы из индекса чаще всего является отсутствие доступа к ней во время недоступности сервера. Когда работоспособность сервера возобновляется, тогда сайт и его страницы вновь появляются в индексе поисковых систем. В то же время, чем больше внешних ссылок на ресурс, тем быстрее web-сайт проходит переиндексацию.

Чтобы самостоятельно отследить процесс индексации интернет-ресурса, стоит проанализировать лог-файлы сервера, где есть информация о каждом визите поисковых роботов систем.


23 Сентября 2009
Количество показов: 12439
Автор:  Светлана Сергеева

Возврат к списку


(Голосов: 14, Рейтинг: 3.89)

Новые темыОбъявленияСвободное общение
10:53 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
08:36 Обновления интерфейса яндекс метрики 
18:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:35 Влияние ссылок буржнете 
15:13 Рапида умерла. Куда выводить с AdSense? 
15:05 Чем заменили ТИЦ? 
15:01 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
13:47 HidMark.com - естественные ссылки от 1.5$ Естественные ссылки. Крауд-маркетинг. 
12:05 USMobileSMSBot - 
11:16 4G/LTE Mobile Proxy 30+ geo  
15:34 «Взрываем языковые преграды» – переводим любые тексты 
15:31 Доходные сайты под бурж 
15:06 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
14:20 Куплю аккаунт Habr.com 
13:45 В России снизили беспошлинный порог для онлайн-покупок 
13:30 Тренды заработка 2024-2025 
13:12 Суд постановил заблокировать Telegram 
11:10 150+ хакерских поисковых систем и инструментов 
02:58 Точные прогнозы на футбол 
22:05 Курс доллара упал ниже 85 рублей 
19:31 Таксистам из "Яндекс Go" стало очень выгодно занижать рейтинг всем пассажирам