robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:05 24 мая 2022 Яндекс выдача 
19:52 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:48 Bropush - твой бро в монетизации сайта push-уведомлениями 
15:19 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:39 Порекомендуйте оптимизацию для новостного проекта 
11:12 CPA-сеть MyLead - глобальная монетизация трафика! 
09:51 PlayCash - партнерка для заработка на азартном трафике! 
10:50 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
10:32 Продам: Спамер ВКонтакте. Spammer VKontakte 
09:58 Ural-obmen.ru — выгодный сервис обмена 
09:03 Продам домен для женского сайта letwoman.com 
15:40 CeshEX - Платформа автоматического обмена 
15:15 INSTACRYPT - приятный обменный сервис 
13:46 Спамер телефонов. Флудер телефонов. Phone Spammer. Phone Flooder 
19:23 Обсуждение о раздаче 30 000 руб. или "первая доза бесплатно" 
18:21 Курс доллара упал ниже 85 рублей 
20:35 Билл Гейтс предсказал пандемию оспы 
19:19 С юмором по жизни! 
19:18 Бета-версия магазина приложений RuStore от VK 
18:51 "Сбер" представил нейросетевые сервисы "Рерайтер" и "Суммаризатор" 
11:39 Стоит ли играть в казино?