robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:46 АП Яндекса 24-го + Google штормит выдачу (23 апреля). У кого уже поехало? 
09:28 сео тренды 2026 - что щас вообще работает? 
09:25 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
09:19 Claude Design - ИИ, который сам делает дизайн (прототипы, лендинги, слайды). Кто-нибудь уже смотрел? 
09:17 стратегии свежести контента в 2026 что реально работает?? 
09:14 Заголовки H1 и ошибки - реально ли новичку самому во всём разобраться? 
09:11 Приговор для Телеграм. ФАС ставит крест на рекламе 
09:14 Monitex: Мониторинг с кэшбэком 80% в USDT 
09:06 Авито аккаунты ИП и физик 
09:06 Вериф аккаунты АВИТО + платежи 
09:06 Продажа аккаунтов HH.RU, В продаже готовые аккаунты HH.RU (headhunter) и AVITO ИП 
09:06 Продам аккаунты HH.RU 
09:06 Аккаунт работодателя 
09:05 Аккаунты работадателей HH.RU 
23:58 Точные прогнозы на футбол 
23:04 Заработок на загрузочном сайте в 2026? 
17:33 Какой фильм посмотреть сегодня вечером? 
17:51 Осторожно! Криптовалюта 
20:26 37 противникам прививок от COVID грозят уголовные дела 
00:15 Ставки на супер тренды в спорте 
23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности