robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:27 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 
19:21 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 
19:17 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 
17:35 Заходишь на сайт, а там уже левые товары вместо контента. Новый тип SEO-взлома уже в деле? 
17:25 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 
16:53 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 
15:02 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче 
18:46 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
17:38 YoChange.com - Ваш лучший помощник в обмене цифровых валют! 
14:52 Прошу оценить сайт 
13:56 Owlchange.com — сервис обмена криптовалют с выплатами в фиат 
13:39 Вериф аккаунты АВИТО + платежи 
10:26 Мониторинг обменников Сrypto-scout.io 
21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 
17:27 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 
17:20 Список обновленных тем пуст... 
19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
17:02 арбитражники 
12:26 Заработок на загрузочном сайте в 2026? 
09:49 Точные прогнозы на футбол