robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Бесплатная контекстная реклама

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:01 ClickDealer- свои люди на рынке буржа! 
16:42 Ципфа и выдача 
16:21 ClickTimes.ru - самая выгодная монетизация WAP трафика 
15:34 Как установить рекламу партнёрки на сайт. 
15:14 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:27 Глубинный апдейт основного алгоритма Google 
12:54 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
17:55 [Бесплатный тест] Сеть резидентных прокси ASTROPROXY – mobile, datacenter, residential proxies для Вашего бизнеса 
16:29 Куплю ваш мелкий/заброшенный сайт 
16:28 Автомобильный сайт за 100 рублей. 
15:58 Софт на заказ 
15:19 Размещение статей, ссылок и постовых на качественных ресурсах 
13:36 SOAX.COM - Мобильные Прокси с Ротацией. Покрытие по всему миру. [Бесплатный Тест] 
10:52 PROXY5.ru — Анонимные прокси дешево / IPv4 на 30 дней от 5$ 
19:14 Послабления карантина 
18:44 "Связной" ожил! 
15:33 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:01 Массовая вакцинация россиян от коронавируса 
12:50 Дистанционное обучение в школе 
01:24 Гиперэкстензия или экстензия 
22:09 с 12 мая нерабочие дни завершаются