robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:01 Обновление поисковой базы 10.12.2018. 
08:38 Что можно предпринять для сайта с нулевой посещаемостью 
08:12 "Символ бесконечности" декабря Апдейт Яндекс выдача | video-freelancer: Началась только что ротация позиций 
08:11 Стоит ли открывать форум на информационном сайте 
00:54 Вопрос о линкбилдинге болгарского сайта. 
23:52 Mineralt.io - криптовалютный скрипт - увеличение прибыли вашего сайта до 70% 
16:02 Непонятные ссылки на сайт в поиске 
11:29 Набор в команду. Доход до 600$ в сутки. 
10:55 Продам аккаунты 1 ТБ Облако@Mail.ru 
10:11 Продам домены РУС 
10:04 AntBrowser.ru – антидетект-браузер для работы с аккаунтами 
09:51 YellowGram - тотальная автоматизация заработка в Instagram (софт+видеотренинг) 
08:09 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
23:25 Продам аккаунт AdSense 
09:24 Биржа рекламы instagram | заработай на своем аккаунте 
09:19 Ссылки зло! Трафик - всё! 
08:53 Образовательный сайт - партнерка? 
01:14 Натуральные VS Искусственные 
01:10 Топ самых лучших книг 
23:56 Ваше мнение про пути развития контентного проекта 
21:41 Какая семантика должна быть у сайта, как пикабу?