Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
11:33 Разные header'ы на разных страницах 
11:18 18 октября 2017 
10:50 Adsense личный опыт 
09:33 Как сделать, чтобы определенные страницы и ссылки не индексировались? 
09:07 Нужен совет по <title> и мета тегам 
06:38 Запустили интернет магазин по стройматериалам месяц назад. Как продвигать в поиске? 
22:49 Малополезный контент 
11:00 [Продам] Крупные сообщества Вконтакте,Facebook,instagram 
10:58 Продам топовые сообщества Вконтакте/Facebook/Instagram с доходом. 
10:25 Разработка логотипов и дизайн сайтов 
10:01 Нужен калькулятор для сайта на вордпресс 
09:26 Бюджетные лендинги под ключ 
07:44 Прогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов 
07:00 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
11:30 Хацкеры с телдери ? 
11:22 Сногсшибательные скидки на хостинг 
10:37 Разработчик Вадим Козлов (kozlov.pro) кидала 
10:22 ICQ 
04:31 Местного Шерлока больше не будет! 
22:19 У кого сделать прогон? 
22:06 Какой домен правильней выбрать?