robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:30 Переезд с www на домен без www 
19:22 Adfinity - Ваш надежный партнер в монетизации трафика 
18:30 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:40 Adtrafico - Правильная партнёрская сеть под бурж трафик 
11:50 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
17:19 AviTool - мощный инструмент для автоматизации работы с Avito 
23:26 соцсеть Norm для нормальных людей 
18:21 Разработка сайтов и програмнного обеспечения - Development of sites and software. 
16:14 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
13:46 Продвижение сайтов в поисковых системах, анализ вашего сайта абсолютно бесплатно (первым 3-м обратившимся) 
13:28 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
12:25 Ural-obmen.ru — выгодный сервис обмена 
10:34 Рассылка в TELEGRAM |Большой опыт работы | Любые тематики | Лучшая конверсия 
16:18 Metrochange – безопасный обменник ваших криптовалют по выгодным курсам 
23:53 С юмором по жизни! 
23:17 В России начали блокировать VPN-подключения 
16:39 Партнерка Cpa.House 
08:22 Российский «китайский файрвол», который сделает бессмысленными VPN-сервисы 
22:01 Уволили за 47 опозданий - отсудила "за расизм" $11 млн у работодателя 
20:19 Стряхнуть обыденность - об Агасфере 
13:42 CPA.HOUSE - Топовая CPA сеть