robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:59 2Index - быстрая индексация страниц сайта и обратных ссылок 
10:13 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
14:32 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
23:00 Продвижение по ключам 
05:56 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 
17:59 Gambling Craft - гемблинг по белому 
22:07 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
13:44 SwapPix.io - быстрый и безопасный обменник криптовалют. 
09:09 ManyMoney — прямой Nutra рекламодатель 
19:40 ExMachinaX.com - онлайн-сервис для обмена BTC, USDT, KZT, ARS, RUB 
18:48 Адалт сайты и сетки PBN на DLE 
16:44 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
15:18 GoodsMoney.io 
14:07 Про мясо 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники? 
22:26 Какой фильм посмотреть сегодня вечером? 
17:13 Добро пожаловать в цифровой мир... 
22:51 Список обновленных тем пуст...