robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:30 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 
20:15 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 
20:10 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
17:05 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
17:04 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 
16:58 Ап выдачи Яндекса 8 апреля - есть движение, но интереснее что творится с AI-ответами Google 
16:49 Заголовки H1 и ошибки - реально ли новичку самому во всём разобраться? 
22:34 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR | актуальная тема сервиса 
21:31 Прошу оценить сайт 
20:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
20:06 MIG-OBMEN.net — Быстрый и надежный обмен цифровых активов 
18:11 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
18:10 Mixmasters - Exchange without AML and KYC 
14:55 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
19:58 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 
19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
19:36 Список обновленных тем пуст... 
17:02 арбитражники 
12:26 Заработок на загрузочном сайте в 2026? 
09:49 Точные прогнозы на футбол 
02:22 Ставки на супер тренды в спорте