Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
18:13 Захват ТОПА выдачи 
18:07 Поднять ИКС 
14:09 CPA-сеть MyLead - глобальная монетизация трафика! 
00:49 Аффилиаты сайта 
20:10 Нет посетителей 
20:07 Монетизируем 100% adult траффика без остатков. 
18:59 Главная пропадает из выдачи, однако яндекс пишет что она там. 
18:05 Сколько стоит такой сайт? 
16:37 Аккаунты Яндекс Директ и Google Adwords без НДС. Экономия 18% рекламного бюджета, Пополнение с любых карт РФ 
15:58 ВК Целевая аудитория в вашу группу/живые реальные пользователи! Не офферы/боты. Без банов и списаний. Гарантия! 
13:31 Продам сайт "Советы старого фарцовщика" 
13:15 AML24 – мгновенный перевод в фиат вашей криптовалюты 
11:51 Куплю адалт сайты 
04:12 Напишу для вас тексты 
18:20 Слив курса Как получать дополнительно 20 000 рублей в месяц 
16:58 в это воскресенье 17.10 с 18:00 до 21:00 приглашаю сходить в Бизнес- Баню. 
03:54 Украсть ворованное. Дилемма. 
13:18 Кидала, Кидок, Кидало 
21:55 Yoast SEO WP 
19:50 Комплексное продвижение в Instagram 
18:59 Услуги по внутренней оптимизации сайтов