robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Бесплатная контекстная реклама

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:12 РСЯ в Украине - выплат на Приват больше не будет!!! 
06:09 Видеобалансер 
22:34 CPA-сеть MyLead - глобальная монетизация трафика! 
16:56 Продвижение в ТОП Яндекс. Мега быстро! 
15:55 Зеннопостер мне помог! 
15:31 Стоит ли покупать Zenoposter 
15:30 Quick Sender - одна из лучших программ для работы с "ВКонтакте" 
09:25 AllChange24 - Лучший сервис по обмену электронных валют 
04:24 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
00:47 Форумные ссылки на ваши ресурсы 
14:13 Качественный современный дизайн сайтов, логотипов, печатной продукции. Верстка HTML5/CSS3/JS. 
00:56 Размещу 1501 ссылку на Ваш сайт. + Бонус 
23:55 TopsocMan- Накрутка в соц сети. Магазин аккаунтов. SEO и SMM услуги. 
22:43 Telegram Soft многопоточный комбайн для Telegram 
08:36 Прыг скок в ТОП 
11:48 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 
15:36 Заработок на Инстаграме. Плюс продвижение своей страницы кому нужно. годный софт для мф и рассылок 
08:39 Недозаказчик кинул на 225 рублей 
08:30 Кому пришла выплата с AdSense? 
20:51 Скрины спама 
11:15 Помогите пожалуйста советом по оптимизации