Понятие индексации web-сайта.

Общее понятие индексации

До того, как web-сайт появится в выдаче поисковых систем, следует позаботиться о том, чтобы он был проиндексирован поисковыми системами. Индексация web-сайта заключается в том, что поисковый робот посещает созданный сайт, анализирует его, а затем заносит информацию об интернет-ресурсе в базу данных конкретной поисковой системы.

Все страницы сайта, которые занесены в индекс поисковой системы, по конкретному запросу поиска отображаются в выдаче поисковых систем. Если какая-либо странице не проиндексирована, тогда пользователь не увидит ее в результатах поиска, поскольку у поисковой системы нет о ней никакой информации.

Как поисковая система узнает о сайте?

Уже на этапе создания собственного сайта появляется вопрос, как поисковые системы узнают о новом ресурсе в сети Интернет. Сообщить о новом web-сайте поисковой системе можно двумя способами:

1. Добавив адрес сайта вручную через стандартную форму поисковой системы. При этом web-сайт попадает в очередь на его индексацию поисковым роботом. При ручном добавлении сайта следует помнить, что вносить нужно только адрес главной страницы интернет-ресурса. Остальные страницы поисковый робот найдет по ссылкам на них.

2. Автоматическим добавлением сайта поисковым роботом. Чтобы робот нашел сайт самостоятельно, необходимо, чтобы с проиндексированных ресурсов на новый сайт вела внешняя ссылка. Этот способ специалистами признан лучшим, в частности, по временным затратам. Получив несколько внешних ссылок, можно просто дождаться посещения сайта роботом. Если же ресурс добавляется вручную, то на индексацию сайта может потребоваться больше времени. Как правило, этот процесс занимает до двух недель (время индексации зависит от конкретной поисковой системы).

Дружественность web-сайта для поисковых роботов

Большое количество web-сайтов успешно проходят индексацию поисковыми системами. Но, чтобы оградить себя от неприятных неожиданностей, стоит знать о некоторых моментах, которые имеют место во время создания сайта.

Еще на этапе разработки сайта нужно позаботиться о том, чтобы он был дружественным к поисковым роботам. Чтобы этого достигнуть, нужно учитывать такие критерии:

1. Каждая web-страница должна быть доступной по ссылкам с главной страницы сайта максимум за три перехода. Если структура разрабатываемого ресурса не позволяет придерживаться этого правила, тогда необходимо создать карту web-сайта.

2. При использовании навигации по сайту, которая реализована через скрипты, следует все ссылки продублировать традиционным способом.

3. Особое внимание нужно обратить на объем страниц сайта. Поисковые системы индексируют всего лишь от 100 до 200 Кб текста на одной web-странице. Если страницы сайта имеют больший объем, тогда поисковики проиндексируют только первые 200 Кб. Если необходимо, чтобы страница была проиндексирована целиком, стоит проследить, чтобы ее объем не превышал 100 Кб.

Управление поисковым роботом

При индексации сайта на поведение поисковых роботов можно повлиять. Это делается тремя способами:

- явным разрешением на индексацию некоторых страниц с помощью файла robots.txt;
- запретом на индексацию тех или иных web-страниц сайта с помощью robots.txt;
- закрытием для индексации поисковым роботом отдельных частей страниц ресурса с помощью тега «NOINDEX» (способ подходит только для российских поисковых систем).

Базы данных всех поисковых систем регулярно обновляются, это приводит к тому, что количество проиндексированных страниц web-сайта может меняться время от времени. Одной из причин исчезновения web-страницы из индекса чаще всего является отсутствие доступа к ней во время недоступности сервера. Когда работоспособность сервера возобновляется, тогда сайт и его страницы вновь появляются в индексе поисковых систем. В то же время, чем больше внешних ссылок на ресурс, тем быстрее web-сайт проходит переиндексацию.

Чтобы самостоятельно отследить процесс индексации интернет-ресурса, стоит проанализировать лог-файлы сервера, где есть информация о каждом визите поисковых роботов систем.


23 Сентября 2009
Количество показов: 11397
Автор:  Светлана Сергеева

Возврат к списку


(Голосов: 14, Рейтинг: 3.89)

Новые темыОбъявленияСвободное общение
01:54 Вирусный плагин background-image-cropper (Вордпресс) и файл accesson.php Помогите избавиться 
22:09 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
18:45 Непонятные страницы в Яндекс вебмастер 
13:17 08.04.2020 АПдейт Яндекс выдача | А вам яндекс написал? 
11:57 Подвал 
11:20 ClickDealer- свои люди на рынке буржа! 
11:07 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
02:42 Программы для рассылок, накрутки, продвижения и ведения аккаунтов в skype, instagram, vk, ok, avito, lenta.ru 
02:29 Программа для рассылки на юле - Youla Master 
01:24 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
01:00 Размещу анкорные Трастовые ссылки на ваш сайт с ИКС от 10. 
23:09 Размещу 30001 ссылку на Ваш сайт с профилей + Бонус 
22:30 Safecurrency.com - Быстрый и удобный обмен криптовалют 
20:29 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
00:06 Партнерка по теме "Коронавирус" 
20:30 Почему не стоит покупать для квартиры велотренажёр? 
14:02 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:37 Жестко стал тормозить интернет последнюю неделю 
13:37 4.04 
13:31 "Необходимые вещи" от Tenderlib'a 
10:29 БЕСПЛАТНАЯ помощь по созданию киносайта на DLE