Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
06:51 FastYaZen (Users Emulator)- быстрый старт на площадке Яндекс Дзен! 
06:47 Не отображается видео в главной ленте 
06:46 Баден-баден мать его так... или жуть яндекса 
21:12 мой сайт в рекламе Адсенса? 
18:08 Как забанить бота Bing ? 
16:33 Где проверить уникальность текста на английском? 
15:06 Ваша любимая биржа 
02:57 Продам сайт - моды для игр, 2012 года, тиц 50, доход есть 
02:38 Продаю место под вашу адалт ссылку 
02:06 Продвижение сайтов, прогон Xrumer, грамотно наращиваем посещаемость вашего ресурса! 
23:23 Создание графики для Вас и вашего сайта 
23:14 Требуется ускорить загрузку сайта на wordpress 
21:59 Внешнее продвижение сайтов качественно! Быстрое выполнение, на форуме с 2009 года! 
20:22 Онлайн сервис для широкого круга людей, доход (адсенс) 
06:58 О подлости 
22:51 Как вы проверяете историю домена? 
22:35 Как тебе такое, Илон Маск? 
16:43 Движок для форума в 2018 - помогите выбрать 
12:27 Стоит ли играть в казино? 
11:25 Как вывести рекламный банер в боковой колонке? 
22:40 Кидок