robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
20:05 Супер-партнерка PayV: избранные офферы в топовых нишах 
19:37 Как сделать правильно robot.txt 
19:33 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
18:47 02.02.2023 гугл порезал траффик 
17:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:59 Нормальный софт для накрутки ПФ в Яндекс 
18:32 BRO.GURU - Быстрый, выгодный, круглосуточный обмен криптовалют 
16:03 Продаются аккаунты Яндекс Директ без НДС (валюта USD). +20% к вашему бюджету 
15:24 Alt-coin.cc - Быстрый, выгодный и безопасный обмен. 
14:44 Мобильные скоростные прокси 4G 
13:57 Сайт VPS за 1$ www.1usdvps.com 
13:57 Продам несколько сайтов по продаже долларов 
13:56 Сайт Халтура и Работа www.halturairabota.ru 
21:25 Помогите придумать самый интересный вопрос 
20:13 Добро пожаловать в цифровой мир... 
19:30 Список обновленных тем пуст... 
18:40 С юмором по жизни! 
18:37 Осторожно! Криптовалюта 
18:28 Стряхнуть обыденность - об Агасфере 
15:08 Adobe снова разрешил россиянам скачивать Photoshop и Premier