В Яндексе отказываются от директивы Crawl-delay
В Яндексе отказываются от директивы Crawl-delay Компания Яндекс решила перестать учитывать директиву Crawl-delay, для того чтобы ускорить процесс появления необходимых страниц интернет-ресурсов в результатах поисковой выдачи.
Известно, что разработчики и сайтов, и вебмастера редко уделяют достаточное внимание данной директиве. Они не знают, как правильно настроить работу представленной функции в robots.txt. А ведь данная директива отвечает за то, насколько регулярно поисковый-робот обращается к интернет-порталу. Из-за неправильных настроек, некоторые страницы на сайте очень долго не посещаются и не индексируются роботом.
Сейчас в Яндексе решили установить настройки по умолчанию для конкретных порталов и выставить частоту обхода сайта в зависимости от нагрузки на сервер. А те пользователи, которые решают ограничивать частоту посещения поисковым роботом их портала, могут воспользоваться функцией «Скорость обхода», которая появилась в панели управления Яндекс.Вебмастер.
Хотя осуществить настройки можно прямо сейчас, вступают в силу они через несколько дней, а точнее: 22 февраля 2018 года.


19 Февраля 2018
Комментарии:  1

Возврат к списку



Комментарии пользователей:


Это нравится:0Да/0Нет
Gamlet
Как думаете, в день по 10 новостей сколько примерно должен поставить?
Новые темыОбъявленияСвободное общение
15:17 Биржи ссылок - отмена тИЦ - появление Яндекс ИКС 
14:44 Это нормальна выдача?? 
13:47 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 
03:10 Как раскрутить сайт? 
01:44 Яндекс выдача. Тема для АПдейтов, которые будут с 16.09 по 23.09.2018 включительно 
15:31 AdBean.ru - Бобовая тизерная сеть. Новостные и товарные тизеры. До 90% отчислений! 
14:36 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
15:32 Продам аккаунты 1 ТБ Облако@Mail.ru 
15:20 Продам аккаунты Google Adwords 
14:46 Linken Sphere – браузер-антидетект нового поколения 
13:48 Работа авторам РЕРАЙТ МАГИЯ 
12:07 Продам канал Яндекс Дзен 
09:07 Продвижение в соц. сетях: ВК, Одноклассники, Instagram, Twitter, Facebook, YouTube, Качественное продвижение. Накрутка за отзыв 
07:55 Мастер шаблона размножения статей + Ручной синонимизатор-рерайтер 
15:40 Индексация ссылок в профилях форумов 
15:11 Предложение "выходного дня" от Coder'a) 
13:25 PushAds.Guru - продаём и покупаем PUSH формат 
11:56 А были ли раньше леса? Где леса? 
10:54 Провожу бесплатные аудиты сайтов, консультации, сбор семантических ядер 
09:03 Ссылка с морды 
03:21 иКС ?