robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:45 Биржа купли-продажи сайтов, каналов и сообществ 
22:08 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
21:45 Телега на ручнике: РКН включил замедление и логи админок покраснели 
22:13 SEO под нейро 
15:57 Раскрутка форума 
11:48 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
13:07 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту 
21:22 Bcon.Global - [no kyc] crypto gateway ( платежное решение для вашего сайта ) 
19:52 EM24.biz - обмен валют 
13:15 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
13:14 TETChange-Обменник криптовалют 
08:58 Monitex: Мониторинг с кэшбэком 80% в USDT 
08:55 Мониторинг обменников Сrypto-scout.io 
05:39 Продвижение и настройка таргет-рекламы 
21:50 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
21:39 Добро пожаловать в цифровой мир... 
20:02 Точные прогнозы на футбол 
09:31 Ставки на супер тренды в спорте 
16:39 Оцифровка старых физических фотографий 
13:55 Туалетные секреты: Замурчательная тема 
18:43 Индия влепила Intel 3 ляма баксов за дискриминацию по гарантии