robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:21 Что можно улучшить 
17:04 ClickTimes.ru - самая выгодная монетизация WAP трафика 
12:46 Зарабатывай до 50% за сейл с партнерской программой EssayPro! 
22:34 Продвижение в ТОП Яндекс. Мега быстро! 
14:28 Berileads.ru - финансовая партнерская программа. 
19:38 Обновление поисковой базы 10.06.2019. 
15:52 CPA-сеть MyLead - глобальная монетизация трафика! 
22:57 "Спалю" тему как рекламироваться в Яндекс.Директ по гэмблинг (и другим) тематикам, помогу с прохождением модерации, отдам домен. 
19:45 Дизайн сайтов и логотипов 
17:03 Семантическое ядро по новой технологии + LSI с ручной группировкой 
15:29 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
14:45 Пишу софт, регеры, парсеры, рвссыльщики, граберы и пр на заказ 
10:59 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
09:20 Продвижение сайтов максимально качественно, методы только белые, есть крутые кейсы!!! 
23:33 Наши машинки 
22:14 В поисках ПП (Партнёрской Программы) 
19:35 Сколько можно заработать на сайте с 60к уник траффом в день 
19:16 Букмекерские ставки 
17:56 Инвайт на webmaster.ru please! 
15:03 Деньги на бизнес 
09:40 Сколько вы платите редактору?