Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
02:36 Апдейт тИЦ 21.07.2018 
21:52 Bodyclick.net - рекламная партнерская сеть. 
21:20 Adsense личный опыт 
21:07 Помогите новичку с покупкой сайта 
19:26 Упали позиции 
14:01 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:21 БЕСПЛАТНАЯ Верстка PSD, zeplin, figma. 
00:02 Продвижение петиций на сайте change.org 
21:20 Прогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов 
18:45 Качественный рерайтинг, копирайтинг 
16:14 Продажа Dedicated servers (дедиков)! 
14:14 200 открытых анкорных ссылок всего за 100 рублей 
11:29 CashOnline.cc - Сервис быстрых обменов валют 
11:25 geeexchange.com - Обмен (Ввод - Вывод) Электронных Валют в Автоматическом режиме 
23:27 Как тебе такое, Илон Маск? 
19:15 Топ самых лучших книг 
19:09 Новая биржа Satoexchange за регистрацию аккаунта дарит 1 000 SATX (150$) 
17:50 Нужен рерайтер, кино-тематика! 
14:11 Мультиязычный человек 
08:23 rzd-russia.ru чей сайт?)) 
23:03 Продам паблик вк, инста