Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
15:17 Биржи ссылок - отмена тИЦ - появление Яндекс ИКС 
14:44 Это нормальна выдача?? 
13:47 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 
03:10 Как раскрутить сайт? 
01:44 Яндекс выдача. Тема для АПдейтов, которые будут с 16.09 по 23.09.2018 включительно 
15:31 AdBean.ru - Бобовая тизерная сеть. Новостные и товарные тизеры. До 90% отчислений! 
14:36 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
15:32 Продам аккаунты 1 ТБ Облако@Mail.ru 
15:20 Продам аккаунты Google Adwords 
14:46 Linken Sphere – браузер-антидетект нового поколения 
13:48 Работа авторам РЕРАЙТ МАГИЯ 
12:07 Продам канал Яндекс Дзен 
09:07 Продвижение в соц. сетях: ВК, Одноклассники, Instagram, Twitter, Facebook, YouTube, Качественное продвижение. Накрутка за отзыв 
07:55 Мастер шаблона размножения статей + Ручной синонимизатор-рерайтер 
15:40 Индексация ссылок в профилях форумов 
15:11 Предложение "выходного дня" от Coder'a) 
13:25 PushAds.Guru - продаём и покупаем PUSH формат 
11:56 А были ли раньше леса? Где леса? 
10:54 Провожу бесплатные аудиты сайтов, консультации, сбор семантических ядер 
09:03 Ссылка с морды 
03:21 иКС ?