robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:14 Хватит ныть про смерть сайтов и нейроответы - почему мы всё еще в деле 
10:10 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
05:55 Яху Скаут и китайцы - есть там вообще жизнь для новичка в 2026? 
01:56 Popunder - крупнейшая биржа трафика, стабильные выплаты с 2007 года! 12 рекламных форматов, 15 таргетингов, 20 способов пополнения баланса 
01:29 2Index - быстрая индексация страниц сайта и обратных ссылок 
21:32 Ап выдачи Яндекса 8 апреля - есть движение, но интереснее что творится с AI-ответами Google 
21:28 С чего сейчас проще начать? 
09:40 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
09:33 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
08:22 Мониторинг обменников Сrypto-scout.io 
06:06 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 
01:51 BITzaBIT.com - обмен криптовалют, выплаты EUR, CAD, GBP, AZN, TJS, UZS 
22:41 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:55 Mixmasters - Exchange without AML and KYC 
10:21 Список обновленных тем пуст... 
06:12 Ставки на супер тренды в спорте 
04:29 Точные прогнозы на футбол 
02:12 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
01:54 Курс доллара упал ниже 85 рублей 
01:19 молодильные яблоки и живая вода 
21:09 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям