robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:06 Яндекс прекращает поддержку технологии Турбо 
16:44 «Хлебные крошки» в адресе сайтов исчезнут из результатов поиска Google 
16:38 ру гембла 
10:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
09:06 Бесплатные посещения 
01:10 Adsense личный опыт 
22:07 Помогите найти шаблон 
16:16 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
14:52 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
11:20 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
04:14 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
21:36 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
20:25 TrueMeds - Революционная Фарма Партнерка! Увеличь свой профит в x2 раза вместе с нами! 
19:14 Анализ курсов и недежности обменников - Kurs.Expert 
07:12 Точные прогнозы на футбол 
00:55 С юмором по жизни! 
10:05 Китайский ИИ-ассистент DeepSeek начали запрещать в некоторых странах 
21:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 
08:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
07:48 США готовят закон для уничтожения пиратских сайтов во всех странах мира 
02:10 [Новая партнерка] Goldbet Partners — прямой рекламодатель одноименного казино Goldbet