robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
17:18 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 
17:05 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 
17:00 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 
16:53 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал) 
16:31 Плагин ответа 
12:29 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 
16:37 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
16:10 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
15:45 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
11:21 Trustpilot Reviews | Подниму рейтинг вашей компании 
11:19 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
11:16 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
11:15 Продвижение сайта: [SEO-трафик][Вывод в ТОП][Крауд-маркетинг + SEO] 
18:23 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
08:25 Отвратительное поведение 
05:31 Точные прогнозы на футбол 
11:00 Кто может дать инвайт на WebMasters? 
17:58 Список обновленных тем пуст...