robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:09 Gambling Craft - гемблинг по белому 
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
16:06 Как отдыхаете от работы? АПдейт Яндекс выдача 11 июля 2024 
15:21 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:30 Партнерская программа OWNR WALLET 
13:08 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
08:16 Новый «алгоритм» Яндекса 
14:55 USMobileSMSBot - 
10:19 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
04:16 Transit-Bit.com - Обмен USDT на IDR, THB, RUB и наличные 
22:36 Партнёрка для вебмастеров 
21:24 Sectormoney.com - быстрый и удобный обменник 
19:54 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
14:29 Как правильно оформить разрешение/согласие клиента на 
19:02 Блогеров с аудиторией более 1 тыс. человек могут обязать сообщить о себе в РКН 
08:23 Дополнительную проверку для позиционирующих себя как психологов могут ввести в сети 
23:35 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
22:40 У Sora появился конкурент из Китая — нейросеть Kling, которая генерирует 1080p-видеоролики по описанию 
22:39 С юмором по жизни! 
14:33 Добро пожаловать в цифровой мир... 
14:31 Современный брак: любовь или госрегулирование?