robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Бесплатная контекстная реклама

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Торопись успеть!!!!


Летние скидки на прогоны - Дешевле только бесплатно ◄ !


Продвижение сателлитами


Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:56 24 июля текстовый апдейт Яндекса: индекс по 21 июля 
13:38 Заказал прогон: получил некачественные ссылки 
12:40 Adsense личный опыт 
12:01 Подскажите живую биржу где можно заработать 
12:00 Аптейт тИЦ от 17 мая 2017 года 
10:55 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
10:00 Категории товаров. Оптимизировать или нет? 
13:45 24bestex.com - обмен валют онлайн Perfect Money, AdvCash, OKpay, Payeer, Privat24 
13:15 Семантическое ядро с ручной группировкой и НК ключами 
11:33 Пишу королевский контент! Не верите? Проверьте! 
10:53 Fineproxy.org - быстрые серверные прокси. 
10:37 Автоматический постинг Вконтакте 
09:49 Рип дизайна сайта для системы Ucoz - от 500руб 
01:36 Продам ссылки с английских сайтов для взрослых 
11:11 Бесплатная графика! 
23:29 Какой фильм посмотреть сегодня вечером? 
23:17 Велотренажёр дома? 
23:07 Новости смотрели ? Предприниматели с 14 лет 
20:30 Как заменить в БД теги заголовков 
19:05 0.0006 BTC в сутки за регистрацию 
16:48 Поднять позиции в Google