robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:12 BotYandex 
10:25 Мои сайты теперь мои 
08:30 Продвинуть сайт в топ яндекса. 
02:50 Помощь в настройке плеера 
09:50 WebVisitor - улучшение и накрутка поведенческих факторов ранжирования вашего сайта. 
09:47 Насколько стабильный трафик из Яндекса? 
09:42 Gambling Craft - гемблинг по белому 
09:52 Бесплатная мобильная связь 
08:14 Размещу ваши ссылки в блоге. 
05:29 «Взрываем языковые преграды» – переводим любые тексты 
04:44 Софт на заказ 
03:47 Профессиональное размножение текстов 
01:09 Профессиональное ведение каналов в Ютубе, Белое продвижение, Услуги в соц. сетях 
23:45 Дешевое наполнение сайтов 
23:07 Нужны живые подписчики телеграм 
09:25 Количество материала и посещаемость 
20:19 Наши машинки 
16:11 Индексация Яндекс Дзен 
22:18 С ноября не радует Адсенс. У кого также? 
20:57 Аудит Вашего сайта 
09:28 Plussy - лучшая партнерка для гемблинг