Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
07:18 18.02.19 Яндекс выдача 
21:39 канал ютуба который заблокирован 
18:36 Не понимаю что не так с сайтом, яндекс не видит страницу по запросу 
14:06 Просто АП Яндекс выдача 17.02.2019 / zaza: "Письма пришли ..." 
14:05 Кто там Яндекс негативом поливал и предвещает ему чуть ли ни конец? 
11:02 Как узнать по каким запросам сайт в Топ 20-30 
00:31 AviTool - мощный инструмент для автоматизации работы с Avito 
07:21 Хочу продать сайт. Прошу оценить его стоимость 
22:18 Куплю домен 
22:09 программа статейного продвижения 
21:45 World-Bases.com - Списки сайтов и доменов на различных CMS: WordPress, Joomla, Magento, Drupal etc. 
17:15 Нужно восстановить жёсткий диск 
17:14 VipFreeLance.ru - фриланс 
16:52 Софт на заказ 
18:37 Ключевые слова в Yoast SEO 
17:58 Продвижение сайта 
15:44 Кому пришла выплата с AdSense? 
07:16 Доска объявлений 
12:56 Требуется помощь! 
00:59 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 
21:31 Новая тизерная сеть Actionteaser.ru