robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:35 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
00:06 Хватит ныть про смерть сайтов и нейроответы - почему мы всё еще в деле 
23:47 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
23:28 Бегун обманщик 
23:14 Сеть контекстной рекламы 
23:05 Лучший аналог бегуна есть ли ? 
20:37 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
08:47 Swapwatch.org — Мониторинг криптовалютных обменников 
08:10 HH.ru Работадателя вериф 
01:43 SOCKS5 приватные прокси на 30 дней для PayPal 
01:43 Google Voice аккаунты для бесплатных SMS и звонков 
01:42 PayPal аккаунты для любых целей 
20:00 Русские народные сказки - оцените! 
18:36 Bardo — Бюро развития и координации цифровых операций. 
06:59 Добро пожаловать в цифровой мир... 
02:06 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
22:31 А вы бегаете? 
20:56 Точные прогнозы на футбол 
20:34 "Вымпелком" предложил белые списки для части абонентов - выборочный интернет вместо полного доступа 
19:57 Список обновленных тем пуст... 
19:55 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила