robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Бесплатная контекстная реклама

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
03:18 Кодировка форума в файле init.php 
03:01 ЯВМ: "Страницы сайта в среднем слишком долго отвечают роботу" 
23:17 Сайт для иностранцев 
21:52 Обновление поисковой базы 2019-10-23 
18:57 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
16:02 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
09:53 Кнопка распечатки на картинке 
23:49 Пожалуйста оцените кардинг форум carder.cc 
22:49 Продвижение в социальных сетях: Вконтакте, Одноклассники, Твиттер, Instagram, YOUTUBE, Facebook, Мой мир. 
20:32 PAY2DAY.TOP - Покупка и продажа криптовалюты за рубли. 
19:37 Продам торрент сайт 
18:22 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
18:17 Помогите оценить сайт 
16:55 Продаю сайт с уникальным контентом 
03:07 Арест серверов MoonWalk, без контента осталось 80% киносайтов РФ 
01:39 Почёму вы выбрали заработок в сети? 
00:46 Борьба с оборотнями во Франции 
18:32 PrimeXBT - прямая партнерка по крипте, успей снять сливки с актуальной ниши! 
15:29 Как из большой группы приглашать только нужных людей? 
16:09 Почему продукты от Евгения Попова это высер? 
15:20 Партнерская программа №1 в РФ по ремонту компьютерной и бытовой техники! (CPA 1000р)