robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:39 Подскажите где продвигать сайт. 
10:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
19:12 Мошенники-копирайтеры 
08:57 Индексация страниц 
23:16 Есть ли альтернатива Адсенсу и РСЯ? 
20:48 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
18:53 Настройка плагина для wordpress Price Shop 
13:57 Сканы и фото паспортов СНГ, Европа, Азия (в большинстве отработки) 
10:05 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
09:54 WebKazna. Обмены криптовалют. Доставка наличных. 
09:08 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
02:27 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
20:47 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
20:07 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
22:31 Точные прогнозы на футбол 
20:32 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
09:37 Договорные матчи от ИИ 
20:29 SMM-24.com САМЫЙ ДЕШЕВЫЙ SMM - Накрутка от 0.0001$|TG/TG PREMIUM/YT/TWIT/IG/TT/FB 
08:32 Бесплатный SEO аудит. 
20:52 Что сейчас топ по монетизации? Видео-темы или что-то поинтереснее? 
21:55 Хром ругается на форум