Робот (robot, спайдер, паук, spider)
Робот (robot, спайдер, паук, spider) или поисковый робот - часть поисковой системы, предназначенная для сбора и анализа информации (контента) с сайтов. В соответствии с установленным алгоритмом робот анализирует содержание каждой страницы сайта, заносит его в базу данных поисковой системы и присваивает определенное место в рейтинге по конкретному запросу (производит индексацию). Чем чаще обновляется и дополняется информация на Вашем сайте, тем чаще робот будет проводить индексацию страниц. Владелец сайта может описать права доступа для поисковых роботов, т.е. указать им, какие страницы нужно индексировать, а какие - нет, предоставить разным роботам разные права доступа. Для этого создается специальный файл robots.txt. Именно его в первую очередь запрашивает робот при обращении к серверу. Если в файле /robots.txt содержится 0 записей, то робот будет индексировать все страницы сайта в соответствии со своим алгоритмом. Если робот найдет в этом файле специально созданное для него правило, то поступит так, как ему предписано. Файл /robots.txt ограничивает действия поисковых роботов и за счет этого отчасти помогает решить серьезную проблему с нагрузкой на сервер, которая создается при индексации всего содержимого сайта. Существует еще один способ задать правила поведения робота для каждой HTML-страницы в специальных мета-тегах вида , где в robot_terms через запятую указываются правила индексации all, none, index, noindex, follow или nofollow.

Возврат к списку


Новые темыОбъявленияСвободное общение
16:32 ClickDealer- свои люди на рынке буржа! 
16:31 Adsense личный опыт 
16:16 Яндекс выдача 23 мая 2018 
15:31 Часто употребляемое слово в меню и и описание сайта, плохо для сео? 
14:48 Доп поля новости 
14:00 Плагиант. Системы проверки контента считаю, что у меня неуникальный текст 
13:17 Актуальные программы для бесплатной регистрации сайта в каталогах 
16:26 Работа для всех, по всей РФ 
16:23 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
16:17 Продам Дзен канал с каналом в телеграм 
14:30 Статейные прогоны, цена от 20$ ▶ опыт и качество!, Множество сайтов на различных cms. 
13:37 Крупные новостные (СМИ) площадки, Яндекс Новости, Google News, анонсы, хорошая посещаемость. 
13:34 Размещаю статьи и баннеры 
12:50 Комплексный прогон сайтов, нет каталогов от shtaketo, хороший рост позиций + Тиц 30 - 100 
16:29 Я живу как в тюрьме, прогулка, питание, что за жизнь. 
16:11 Облачный майнинг и надежные сайты 
15:25 Кому пришла выплата с AdSense? 
14:05 Где взять качественный крауд? 
13:46 Борьба с конкурентами 
13:44 Подскажите киносайт для онлайн просмотра фильмов 
10:55 Облачный майнинг