robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 Раскрутка форума 
13:45 SEO под нейро 
13:42 Телега на ручнике: РКН включил замедление и логи админок покраснели 
13:07 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту 
12:57 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
18:07 Гугл уходит из России: почему интернет тормозит и что делать 
15:17 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
16:30 Mixmasters - Exchange without AML and KYC 
15:09 Nexulume.com Обменник без AML и KYC 
09:02 Swapwatch.org — Мониторинг криптовалютных обменников 
22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:41 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
16:31 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
11:47 Monitex: Мониторинг с кэшбэком 80% в USDT 
22:38 Точные прогнозы на футбол 
22:02 Добро пожаловать в цифровой мир... 
20:04 Оцифровка старых физических фотографий 
18:43 Индия влепила Intel 3 ляма баксов за дискриминацию по гарантии 
13:08 Туалетные секреты: Замурчательная тема 
13:05 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе 
13:00 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?