robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:44 Приговор для Телеграм. ФАС ставит крест на рекламе 
09:34 Почему даже при маленьком трафике сервер умирает? Разбираем реальные причины 
09:11 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 
09:05 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
21:27 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 
19:21 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 
19:17 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 
09:11 Продам сайт - продукты питания 
09:11 Прошу оценить сайт 
18:46 buyingproxy.com | $0.95/GB Residential Proxies - 80M+ IPs | No Bandwidth Expiry 
18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
17:38 YoChange.com - Ваш лучший помощник в обмене цифровых валют! 
13:56 Owlchange.com — сервис обмена криптовалют с выплатами в фиат 
13:39 Вериф аккаунты АВИТО + платежи 
06:40 Точные прогнозы на футбол 
00:15 Ставки на супер тренды в спорте 
23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 
21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 
17:20 Список обновленных тем пуст... 
19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 
17:02 арбитражники