robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:02 CPA-сеть MyLead - глобальная монетизация трафика! 
23:17 cрм-система для бизнеса 
21:57 Push.House - рекламная платформа PUSH уведомлений 
20:40 Вопросы по продвижению на поддоменах 
19:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:37 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
13:20 Партнерская программа OWNR WALLET 
23:08 ⭐⭐⭐ Google Voice - OLD аккаунты "SMS и звонки" ⭐⭐⭐ 
14:13 Publify.live- автоматическое копирования контента с TikTok, Twitter, Telegram в ваши Telegram каналы 
12:48 BestChange – обменивать электронную валюту можно быстро и выгодно 
11:16 Автор по покеру и онлайн-казино. 
10:42 Ural-obmen.ru — выгодный сервис обмена 
10:33 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
10:05 CryptoScan.one - Принимайте USDT TRC-20 на свой личный счет 
18:40 Ещё 12 заявлений в полицию о мошенничестве подано на блогера Аяза Шабутдинова 
13:16 ИИ Google поставил под сомнение подлинность фотографий высадки астронавтов США на Луну 
18:56 Точные прогнозы на футбол 
17:33 Стряхнуть обыденность - об Агасфере 
00:03 Кабмин разрешил Роскомнадзору блокировать сайты с методами обхода блокировок 
14:55 150+ хакерских поисковых систем и инструментов 
23:03 С юмором по жизни!