robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Бесплатная контекстная реклама

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:51 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
18:41 Рекламная сеть пуш уведомлений 
18:38 Чем заменили ТИЦ? 
18:36 Кому нибудь в вебмастере пишут про нарушения? 
18:32 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
16:05 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:10 CPA-PRIVATE.BIZ - премиальная товарная программа. Только ТОП ставки! 
22:24 Продвижение в телеграмм (рассылка, инвайт, парсинг) 
22:03 Магазин аккаунтов, Smm и Sms сервис 
17:20 Пираю ваши продукты на форумах, регистрирую, веду темы. 
14:25 Размещу ссылку на своём сайте 
13:41 Продам базы данных предприятий Украины, СНГ, ЕС, ЮВА. 
12:07 anyexchange.best - обменный пункт электронных валют AnyExchange 
11:32 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
23:15 Раздражающая привычка туристов на пляже вызвала споры среди россиян 
16:24 Россияне начали скупать кнопочные телефоны 
14:00 Каково быть самозанятым: плюсы и минусы 
12:22 В Сочи на пляже выставили цену в 800 рублей за спасение утопающих 
00:06 Ищу быстрый пф который загоняет в топ за 24-48 часов 
20:18 Обмен крипты 
13:50 Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+