robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Бесплатная контекстная реклама

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?

Новогодние скидки на прогоны - Такого Вы ещё не в-и-д-е-л-и!!!

► ◄


Продвижение сателлитами


Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:39 Biggico - крипто партнерская сеть | выплаты в BTC, ETH, фиате, | Revenue Share, CPA, CPL офферы 
17:28 Обращаете внимание на значение Яндекс ИКС? 
17:08 Продвижение сайта 
17:05 Лучшая рекламная сеть Traffic.ru! 
16:52 16.10 выдача - а вы стимулируете? 
15:43 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:12 Перенос сайта с uCoz на Wordpress. Редиректы и болезненные моменты ... 
17:38 Куплю ненужные вам сайты 
17:31 Статейное продвижение сайтов. Качественные доноры с высокими показателями ИКС и траста, не заспамленные. Хорошая индексируемость доноров. Качественные уникальные статьи (копирайт) 
17:09 Куплю статьи/ссылки с ваших сайтов 
17:09 Куплю ссылки 
17:08 Куплю ссылки с моими статьями на медицинский сайт 
17:08 Куплю ссылки на главных страницах сайтов 
16:56 тИЦ отменили! Новый показатель Яндекса ИКС! Лучшие площадки под размещение. Бесплатное написание статей при любом заказе. 
17:04 Какой и когда был ваш первый раз? интим и работу не предлагать 
15:13 Как сделать профиль инстаграм интересным и полезным? 
13:53 Отзывы о ad1.ru 
13:02 иКС ? 
12:58 Где вы проверяете позиции? 
12:05 Наши деревенские троечники, ещё те отличники 
20:56 Скрины спама