robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:06 Телега на ручнике: РКН включил замедление и логи админок покраснели 
03:35 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту 
15:39 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса 
15:23 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 
18:27 Карпати реально заставил GPT, Кло, Gemini и Grok спорить между собой перед ответом 
15:30 Indus AI: индийский "грааль" или мусор для дорвеев? 
12:55 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
01:01 Portfel.cc - современный помощник в Ваших финансовых операциях. 
21:53 TETChange-Обменник криптовалют 
19:00 Volna.money 
18:57 GoodsMoney.io 
16:05 Mixmasters - Exchange without AML and KYC 
12:57 Bardo — Бюро развития и координации цифровых операций. 
12:09 Nexulume.com Обменник без AML и KYC 
23:36 Точные прогнозы на футбол 
22:28 Добро пожаловать в цифровой мир... 
13:09 Смотри, птичка! Трамп вскрывает папки про НЛО 
04:49 Ставки на супер тренды в спорте 
20:25 Вместо золота - RTX 5090: почему кремний стал валютой на свадьбах 
18:50 Тройной агент Паша Дуров 
08:25 Список обновленных тем пуст...