robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:46 Проверьте свою посещаемость 
22:35 Супер-партнерка PayV: избранные офферы в топовых нишах 
21:08 Выдача 06.02.2021 
18:56 Gambling Craft - гемблинг по белому 
18:42 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:46 CPA Kitchen - Глобальная Гемблинг Партнерка | Смартлинка, Ротатор, Постбеки | Офферы под все ГЕО 
15:15 Adtrafico - Правильная партнёрская сеть под бурж трафик 
00:24 Разработчик ищет помощника 
23:55 Автоматизация работы в браузере BAS 
21:02 Качественная регистрация на трастовых сайтах и форумах. Множество cms. Цены от 250 рублей. 
15:59 Купить дедики Абузоустойчивые сервера Аренда сервера Купить dedic Дедик Дешево vps vds сервера дедики на SSD! 
12:18 Обмен/Вывод криптовалют и электронных денег в разных странах 
10:10 Продаю места под ссылки и баннеры 
09:00 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
23:13 Байден потребовал у конгресса $715 млрд на оборону и сдерживание России. 
22:14 activepr.ru - back-under партнёрка с высокими ценами. 
14:36 Ozon планирует начать выдавать кредиты продавцам 
14:23 Лента.Ру: Ученые назвали укорачивающую жизнь на 28 лет привычку 
10:42 NaZapad — 17-я онлайн-конференция по SEO-продвижению на западных рынках 
23:17 Мошенница Ксения Гущина ksugushinak8@gmail.com ks.guschina@gmail.com ksygushinak 8 911 855 60 37 
23:03 Отечественный софт: госуслуги, самозанятость