robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:32 Как перенести статьи со старого сайта на новый. 
21:32 Есть ли смысл от домена? 
21:31 Кто-нибудь пользовался Mautic? 
21:31 Нужен ли обычному ресурсу ssl? 
21:30 Приделала к сайту подписку нужно протестировать. 
21:29 HTTPS насколько необходим? 
20:15 Pharmcash.net - монстр конверта Евро траффика 
21:51 Продам скрипт онлайн игры 
21:02 Качественный современный дизайн сайтов, логотипов, печатной продукции. Верстка HTML5/CSS3/JS. 
20:06 Продажа быстрых SSH туннелей. Любые страны с гарантией! 
19:48 Крупные новостные (СМИ) площадки, Яндекс Новости, Google News, анонсы, хорошая посещаемость. 
19:46 Продам сайт тематики Онлайн-игры 
19:25 ProTeleJob.ru - вакансии удаленной работы для всех 
17:53 Куплю сайты до $5,000 
20:36 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
18:13 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
17:59 Американская НКО потребовала через суд удалить Telegram из магазина приложений Apple 
13:50 Брюса Уиллиса выставили из аптеки без маски 
13:19 Продаю крупные аккаунты в Инстаграме (дешево) 
07:30 Instagram и Facebook возможно что-то поняли и, не теряя времени, разблокировали аккаунты Трампа 
06:40 Для чего надо учиться?