robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:53 Апдейт ИКС 19.04.2019 
17:20 Как исправить? 
11:09 Как вывести в топ запрос 1000 payday loan с мин. бюджетом? 
11:08 Купил домен 
06:51 20 апреля 2019 | Текстовый апдейт: выложен индекс по 17 апреля 2019 
22:50 Рекламная сеть яндекса личный опыт 
21:35 19 апреля 2019 | Текстовый апдейт: выложен индекс по 16 апреля 2019 
14:22 Продвину сайт качественными ссылками. Рост посещаемости, позиций и ИКС. Крауд ссылки недорого + скидки. 
11:22 Продам сайт игровой тематики 
09:40 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
05:27 200 трастовых профильных ссылок 
01:28 Требуется КМ (контент-менеджер) для АДАЛТ сайта 
23:33 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
21:56 Предлагаю мощный комбайн по рассылке с бесплатных ящиков 
18:05 Скидка ~40% для первых 10 
16:11 Инвайт на webmaster.ru please! 
15:11 Как правильно оплатить кредит? 
14:01 Chitika закрывается 
19:24 Finaff становится открытой партнёркой! 
16:51 Подскажите страшный фильм 
13:05 Правильный киносайт