В Яндексе отказываются от директивы Crawl-delay
В Яндексе отказываются от директивы Crawl-delay Компания Яндекс решила перестать учитывать директиву Crawl-delay, для того чтобы ускорить процесс появления необходимых страниц интернет-ресурсов в результатах поисковой выдачи.
Известно, что разработчики и сайтов, и вебмастера редко уделяют достаточное внимание данной директиве. Они не знают, как правильно настроить работу представленной функции в robots.txt. А ведь данная директива отвечает за то, насколько регулярно поисковый-робот обращается к интернет-порталу. Из-за неправильных настроек, некоторые страницы на сайте очень долго не посещаются и не индексируются роботом.
Сейчас в Яндексе решили установить настройки по умолчанию для конкретных порталов и выставить частоту обхода сайта в зависимости от нагрузки на сервер. А те пользователи, которые решают ограничивать частоту посещения поисковым роботом их портала, могут воспользоваться функцией «Скорость обхода», которая появилась в панели управления Яндекс.Вебмастер.
Хотя осуществить настройки можно прямо сейчас, вступают в силу они через несколько дней, а точнее: 22 февраля 2018 года.


19 Февраля 2018
Комментарии:  1

Возврат к списку



Комментарии пользователей:


Это нравится:0Да/0Нет
Gamlet
Как думаете, в день по 10 новостей сколько примерно должен поставить?
Новые темыОбъявленияСвободное общение
00:22 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
00:00 Выбор ключевых слов для главной страницы 
23:23 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
19:56 ClickDealer- свои люди на рынке буржа! 
18:57 WelcomePartners – ведущая гемблинг партнерка рунета! 
16:44 Adsense личный опыт 
14:31 Тизерная сеть "Облако Кликов" – новостной трафик с крупнейших СМИ Рунета 
00:05 [Бесплатный тест] Топовые мобильные прокси RU, UA, UK. AIRSOCKS 3G / 4G / LTE. С подменой Passive OS fingerprint (Windows / Mac / Android / iPhone) 
20:31 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
18:05 Оформление группы Вконтакте, создаем уникальный дизайн 
16:43 Продам аккаунт Облако@Mail.ru на 1Tb 400р 
16:26 Внешнее продвижение сайтов качественно! Быстрое выполнение, на форуме с 2009 года! 
15:16 «Взрываем языковые преграды» – переводим любые тексты 
13:31 Настройки ленты на плагин Wpgrabber для WordPress 
00:28 Продвижение сайта через Вконтакте? 
23:55 Натуральные VS Искусственные 
23:52 Партнерская программа №1 в РФ по ремонту компьютерной и бытовой техники! (CPA 1000р) 
21:39 Где и как встретите Новый год? 
17:06 Lucky.Online - собственные офферы, КЦ 24/7, стабильно высокий апрув 
14:58 Новая тизерная сеть Actionteaser.ru 
12:17 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок