robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:35 SEO под нейро 
00:32 Стоит ли добавлять сайт в Rambler топ 100? 
00:22 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 
22:48 Refmate — сервис для взаимного обмена ссылками 
22:45 Rotapost прикрыли! Чем пользоваться? 
12:40 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 
16:26 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
21:34 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
21:33 Trustpilot Reviews | Подниму рейтинг вашей компании 
21:33 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
21:33 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж 
19:50 Продвижение сайтов 
19:40 Продвижение в ТОП: Сайты, Боты, Каналы Telegram 
19:37 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
22:40 С юмором по жизни! 
14:04 Компьютерная мышь 
22:33 Точные прогнозы на футбол 
22:09 Про мясо 
13:08 Бесплатный майнинг Tether (USDT) 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир...