В Яндексе отказываются от директивы Crawl-delay
В Яндексе отказываются от директивы Crawl-delay Компания Яндекс решила перестать учитывать директиву Crawl-delay, для того чтобы ускорить процесс появления необходимых страниц интернет-ресурсов в результатах поисковой выдачи.
Известно, что разработчики и сайтов, и вебмастера редко уделяют достаточное внимание данной директиве. Они не знают, как правильно настроить работу представленной функции в robots.txt. А ведь данная директива отвечает за то, насколько регулярно поисковый-робот обращается к интернет-порталу. Из-за неправильных настроек, некоторые страницы на сайте очень долго не посещаются и не индексируются роботом.
Сейчас в Яндексе решили установить настройки по умолчанию для конкретных порталов и выставить частоту обхода сайта в зависимости от нагрузки на сервер. А те пользователи, которые решают ограничивать частоту посещения поисковым роботом их портала, могут воспользоваться функцией «Скорость обхода», которая появилась в панели управления Яндекс.Вебмастер.
Хотя осуществить настройки можно прямо сейчас, вступают в силу они через несколько дней, а точнее: 22 февраля 2018 года.


19 Февраля 2018
Комментарии:  1

Возврат к списку



Комментарии пользователей:


Это нравится:0Да/0Нет
Gamlet
Как думаете, в день по 10 новостей сколько примерно должен поставить?
Новые темыОбъявленияСвободное общение
08:02 Пришло письмо от Google: Браузер Chrome скоро начнет показывать предупреждение системы безопасности на сайте 
07:53 18.11.2017 субботний АП тИЦа 
07:52 В место ТИц будет ПУС 
04:05 Переобход 100000 страниц, которые не все проиндексированы 
00:53 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
23:36 Левые ссылки поставили на сайт, что делать 
18:35 Вывод в ТОП статьи в subscribe.ru или sostav.ru 
07:42 Рерайт, копирайтин и просто красивые тексты-2 
00:27 Семантическое ядро по новой технологии + LSI с ручной группировкой 
22:44 Качественный дизайн для ваших сайтов 
20:57 Верстка 
18:38 Интернет-магазины, лендинги, сайты-визитки от 10000 руб на MODx 
18:30 Доброго времени суток, предлагаю вашему вниманию дешевые Dedicated Servers(дедики)! 
18:05 OkSender – программа для продвижения в социальной сети Одноклассники. 
09:27 Мост супр, ставки на сайты - Соревнование лучших профи супра. 
07:52 Сделать агрегатор на WP 
07:45 Сайт на копипасте (затёр) 
03:09 Чем монетизируете АДАЛТ? 
22:58 Как выйти из депрессии? Фильмы-антидепрессанты 
20:43 Облачный майнинг 
18:36 Автоматический сервис продвижения(накрутки). 18 соц сетей! Бонус местным!