robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:19 Adtrafico - Правильная партнёрская сеть под бурж трафик 
21:19 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
17:32 Adfinity - Ваш надежный партнер в монетизации трафика 
16:51 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
15:45 Как получить большую скидку на покупку Xrumer, Xevil 
23:14 MyBid - Мы конвертируем наш трафик в ваши лиды! 
21:11 Привет! Мы — партнерская программа Revitalab по Нутре! 
16:39 Защитим твой ресурс от блокировки Роскомнадзора 
19:35 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
18:32 ExBaza.com - Сервис обмена криптовалют 
17:05 Купить дедики Абузоустойчивые сервера Аренда сервера Купить dedic Дедик Дешево vps vds сервера дедики на SSD! 
15:19 LEETSOX.COM - Быстрые, качественные и стабильные прокси по низким ценам 
14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
10:45 Сrypto-bank.ws - обмен BTC (Qiwi, сбер, нал и т.д.) 
17:52 150+ хакерских поисковых систем и инструментов 
17:40 Стряхнуть обыденность - об Агасфере 
18:36 С юмором по жизни! 
18:31 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 
16:21 Специально для Праповедника 
16:18 В России создается импортонезависимая мобильная ОС с поддержкой Android-приложений 
11:35 Список обновленных тем пуст...