robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал
Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:39 Стоит ли добавлять сайт в Rambler топ 100? 
01:08 krm40.at В ЭТОЙ СТАТЬЕ СОБРАНЫ САМЫЕ АКТУАЛЬНЫЕ ССЫЛКИ И ПЕРЕХОДНИКИ НА ПЛОЩАДКУ КРАКЕН для безопасного входа в KRAKEN МАРКЕТПЛЕЙС 1) Официальная ссылка KRAKEN https://krm40.at 2) Официальное зеркалo https://krm40.at Вот несколько рекомендаций, кото 
00:59 krm40.at В ЭТОЙ СТАТЬЕ СОБРАНЫ САМЫЕ АКТУАЛЬНЫЕ ССЫЛКИ И ПЕРЕХОДНИКИ НА ПЛОЩАДКУ КРАКЕН для безопасного входа в KRAKEN МАРКЕТПЛЕЙС 1) Официальная ссылка KRAKEN https://krm40.at 2) Официальное зеркалo https://krm40.at Вот несколько рекомендаций, кото 
00:29 krm40.at В ЭТОЙ СТАТЬЕ СОБРАНЫ САМЫЕ АКТУАЛЬНЫЕ ССЫЛКИ И ПЕРЕХОДНИКИ НА ПЛОЩАДКУ КРАКЕН для безопасного входа в KRAKEN МАРКЕТПЛЕЙС 1) Официальная ссылка KRAKEN https://krm40.at 2) Официальное зеркалo https://krm40.at  
23:41 krm40.at В ЭТОЙ СТАТЬЕ СОБРАНЫ САМЫЕ АКТУАЛЬНЫЕ ССЫЛКИ И ПЕРЕХОДНИКИ НА ПЛОЩАДКУ КРАКЕН для безопасного входа в KRAKEN МАРКЕТПЛЕЙС 1) Официальная ссылка KRAKEN https://krm40.at 2) Официальное зеркалo https://krm40.at  
23:17 krm40.at В ЭТОЙ СТАТЬЕ СОБРАНЫ САМЫЕ АКТУАЛЬНЫЕ ССЫЛКИ И ПЕРЕХОДНИКИ НА ПЛОЩАДКУ КРАКЕН для безопасного входа в KRAKEN МАРКЕТПЛЕЙС 1) Официальная ссылка KRAKEN https://krm40.at 2) Официальное зеркалo https://krm40.at  
22:44 krm40.at В ЭТОЙ СТАТЬЕ СОБРАНЫ САМЫЕ АКТУАЛЬНЫЕ ССЫЛКИ И ПЕРЕХОДНИКИ НА ПЛОЩАДКУ КРАКЕН для безопасного входа в KRAKEN МАРКЕТПЛЕЙС 1) Официальная ссылка KRAKEN https://krm40.at 2) Официальное зеркалo https://krm40.at  
03:41 krm40.at | KRAKEN | ОФИЦИАЛЬНАЯ СТАТЬЯ KRAKEN|2025 Август|Рабочие Зеркала для входа ОБЯЗАТЕЛЬНО СОХРАНИ ССЫЛКИ ЧТО БЫ НЕ ПОПАСТЬСЯ НА ФЕЙК !!!! TELEGRAM КАНАЛ С ССЫЛКАМИ НА МАРКЕТПЛЕЙС https://t.me/KrakenShopLinks ⚠ Никогда не скачивайте Tor с сомн 
03:31 krm40.at | KRAKEN | ОФИЦИАЛЬНАЯ СТАТЬЯ KRAKEN|2025 Август|Рабочие Зеркала для входа ОБЯЗАТЕЛЬНО СОХРАНИ ССЫЛКИ ЧТО БЫ НЕ ПОПАСТЬСЯ НА ФЕЙК !!!! TELEGRAM КАНАЛ С ССЫЛКАМИ НА МАРКЕТПЛЕЙС https://t.me/KrakenShopLinks ⚠ Никогда не скачивайте Tor с сомн 
03:15 krm40.at | KRAKEN | ОФИЦИАЛЬНАЯ СТАТЬЯ KRAKEN|2025 Август|Рабочие Зеркала для входа ОБЯЗАТЕЛЬНО СОХРАНИ ССЫЛКИ ЧТО БЫ НЕ ПОПАСТЬСЯ НА ФЕЙК !!!! TELEGRAM КАНАЛ С ССЫЛКАМИ НА МАРКЕТПЛЕЙС https://t.me/KrakenShopLinks ⚠ Никогда не скачивайте Tor с сомн 
03:03 krm40.at | KRAKEN | ОФИЦИАЛЬНАЯ СТАТЬЯ KRAKEN|2025 Август|Рабочие Зеркала для входа ОБЯЗАТЕЛЬНО СОХРАНИ ССЫЛКИ ЧТО БЫ НЕ ПОПАСТЬСЯ НА ФЕЙК !!!! TELEGRAM КАНАЛ С ССЫЛКАМИ НА МАРКЕТПЛЕЙС https://t.me/KrakenShopLinks ⚠ Никогда не скачивайте Tor с сомн 
20:39 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
16:11 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
13:35 Размещу ссылки/статьи на ваш сайт | Рост ИКС | XRumer 23.0.4 StrongAI 
22:11 Точные прогнозы на футбол 
11:39 Поиск сайта, предоставляющего услуги по продаже стальных полос и металлической продукции 
13:13 О природе путешествий. 
00:15 Накрутка поисковых подсказок 
19:56 Union Pharm - топовая фарма-партнерка для профессионалов! 
19:48 Ну что, кто куда деваете свои сайты? 
03:22 Европа объявляет независимость от Windows: создаётся своя операционная система для чиновников