robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:22 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
12:30 25.12.25 Апдейт Яндекс выдача 
12:10 "Осталось 5 дн. до НГ" АПдейт Яндекс выдача 
11:19 Ссылки с сайтов РБ 
23:23 Волна банов за ПФ под Новый год? Кого еще зацепило? 
22:55 DLE не создает бэкап с админки сайта, как быть? 
22:45 Подскажите как правильно переехать с виртуального хостинга на VPS 
19:18 Oblaka.in — Обмен криптовалюты быстро, выгодно и безопасно 
15:32 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:04 Linken Sphere – браузер-антидетект нового поколения 
12:29 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
04:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
00:02 Clearex.io - Больше чем обменник 
23:36 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
19:08 37 противникам прививок от COVID грозят уголовные дела 
19:06 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
21:44 С юмором по жизни! 
13:34 Компьютерная мышь 
13:13 Куплю проигрышные букмекерские аккаунты 
22:59 Про мясо 
15:07 Добро пожаловать в цифровой мир...