Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
22:31 АП ИКС 30.07.2019 года. 
22:29 Яндекс выдача - Апдейт - 17 августа 
22:28 Обновление поисковой базы 25.08.2019. 
21:10 Можно ли изменить категории WP не заходя в админку? 
16:46 Обновление поисковой базы 24.08.2019 
19:14 Плохие результаты вывода в топ 
17:57 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
23:12 Рерайт 10р/1к 
23:00 Продам сайт екапуста займ ekapustazaym.com 
22:52 Продам сайт игровой тематики 
22:42 Комплексный прогон сайтов, нет каталогов от shtaketo, хороший рост позиций + Тиц 30 - 100 
21:43 Продам сайты для заработка в Adsense. Можно вместе с аккаунтом. 
17:32 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
16:31 Тексты премиум - качества! Доступные условия для бизнеса и удар по поисковым алгоритмам! 
23:30 Сервис проверки траста (xt) в Яндексе и плагин для SAPE 
15:16 Раскрутить сайт игрушек для взрослых 
13:03 Прыг скок в ТОП 
09:14 Создать аккаунт Google Adwords за 1000 рублей 
17:46 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 
12:44 Друзья, предлагаю собраться и сходить в Москве на пикник 
10:54 Как генерировать IT лиды