robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Бесплатная контекстная реклама

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
03:05 Раскрыты заработки звезд в TikTok и Instagram 
00:18 Проблема индексации Гуглом новых ссылок? 
23:13 19 октября Яндекс выдача 
21:53 CPA-PRIVATE.BIZ - премиальная товарная программа. Только ТОП ставки! 
21:02 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 
18:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:04 Adtrafico - Правильная партнёрская сеть под бурж трафик 
01:22 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
22:57 Продвижение YouTube, Insta, TikTok, Teleg, ВК, Твитер, ФБ, ОД 
22:32 200 000 показов в сутки! Продам трафик. 
17:06 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
15:10 Восстановление сайтов из Вебархива на Wordpress 
15:07 Подарок 1400р за оформление бесплатной карты Райфайзен 
15:07 Рекламная подписка от Яндекс.Бизнеса на платформе getUNIQ 
03:10 Вкладки браузера разрушают ваш мозг 
20:45 Кстати... 
18:46 С юмором по жизни! 
18:13 Коронавирус - реальная угроза или манипуляции? 
17:54 В НАТО могут отказаться от гибридной войны в пользу когнитивного воздействия 
17:07 Ученый подозревает Google в попытках перепрограммировать человечество 
21:07 Несколько слов о том, почему ты должен выбрать нас!