robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:19 Как узнать по каким запросам сайт в Топ 20-30 
20:13 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
15:37 Berileads.ru - финансовая партнерская программа. 
11:58 Вы это делаете нежно или дерзко? /// 16.02.2019 Апдейт Яндекс выдача 
11:30 Как правильно писать тайтл и ш1 
11:27 ClickDealer- свои люди на рынке буржа! 
11:26 Kokos.click - народная тизерная сеть! 
20:52 Продам Сайт кадастрового инженера. 
19:23 Качественные сайты, и компоненты под Joomla 
18:00 Продам сайт GTA + группу ВК 
14:17 Продвижение в социальных сетях: Вконтакте, Одноклассники, Твиттер, Instagram, YOUTUBE, Facebook, Мой мир. 
14:16 Продвижение петиций на сайте change.org 
11:48 Предлагаю мощный комбайн по рассылке с бесплатных ящиков 
11:44 Хочу продать сайт. Прошу оценить его стоимость 
18:31 Ключевые слова в Yoast SEO 
15:44 Кому пришла выплата с AdSense? 
07:16 Доска объявлений 
12:56 Требуется помощь! 
00:59 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 
21:31 Новая тизерная сеть Actionteaser.ru 
19:14 Частная база руководителей, директоров, лиц принимающих решения (ЛПР) по России за 2018 г.