robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:21 Обсуждение ГГЛ / Gogetlinks / Размещение вечных ссылок с гарантией индексации 
23:53 ИКС 23 октября 2020 АПдейт | Яндекс ИКС 23.10.2020 
21:37 Что продвигать в ТОП Яндекса с помощью накрутки ПФ? 
21:03 В корзине вукоммерс не выводит количество товара, итого и показывает только один товар 
18:20 В корне изменить структуру сайта, как не просесть по сео? 
16:15 Adsense личный опыт 
15:29 Google Ads (Adwords) берега попутал 
16:06 Качественный дизайн для ваших сайтов 
12:55 Продам Adsense (пин, РБ. Есть блок ссылок) 
12:19 Веб-мастер. Создаю сайты "под ключ" 
11:01 Profit-smm.ru - раскрутка в Vk/Inst/Yt/Tg. Подписчики от 11.5р, лайки от 2.4р 
10:50 Куплю аккаунты google adsense 
10:43 Куплю активированные аккаунты Google Adsense 
10:03 Новый сервис по продвижению в социальных сетях! [оптовые цены] 
20:34 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
18:59 Уже купили гречку и туалетную бумагу? 
18:17 Со скольки лет Вы разрешали детям алкоголь? 
18:14 7 летний мальчик за год заработал 12 миллионов рублей 
18:12 к нам на время карантина приехала свекровь 
18:09 сейчас дороже, чем нефть и все сокровища мира 
18:05 Как быть? Намекнуть ей?