robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:29 16.01.2026. Пятничный откат, глюки с регионами и "Нейро" в товарке 
10:26 Монетизация пошла: OpenAI начинает крутить баннеры и ссылки в диалогах 
10:25 че по ПФ щас реально работает?? (кроме старья) 
10:22 Минус 30% дохода? Chrome теперь скрывает футерные баннеры (Sticky Ads) 
10:21 Началось? На Reddit паника: Google массово рассылает варнинги за AI-контент 
10:20 Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент 
20:18 Конец мечтам о поисковике Apple? Айфоны переходят на Gemini 
01:28 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 
17:44 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
17:01 Все услуги в Телеграм 
16:25 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
15:33 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI 
15:23 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
14:58 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
10:18 Кодерам приготовиться? DeepSeek анонсировал "монстра кодинга" на следующий месяц 
10:16 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
12:40 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
20:57 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
15:17 SENDERSEX.COM - Тизерная партнёрка онлайн игры Эротические Фанты Онлайн 
18:50 Добро пожаловать в цифровой мир... 
22:14 Какой фильм вы любите посмотреть перед сном?