robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:00 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 
15:56 SEO под нейро 
15:53 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 
15:50 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 
15:49 Плагин ответа 
15:44 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
09:49 Исходящие ссылки из файлов .swf 
18:39 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ! 
17:25 SMS.PRO - площадка для продажи твоих номеров 
16:14 Все услуги в Телеграм 
14:16 Nexulume.com Обменник без AML и KYC 
13:43 Anonflare - Приватные IPv4 прокси от 0.39 USD 
10:52 Mixmasters - Exchange without AML and KYC 
10:29 Admaker.tech - Конструктор ботов | Магазин | Подписки | Обратная связь 
16:35 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
15:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
09:05 Точные прогнозы на футбол 
05:31 Ставки на супер тренды в спорте 
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
08:25 Отвратительное поведение 
11:00 Кто может дать инвайт на WebMasters?