robots.txt для субдоменов

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно. Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?

Новые темы	Объявления	Свободное общение
19:51 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 18:41 Рекламная сеть пуш уведомлений 18:38 Чем заменили ТИЦ? 18:36 Кому нибудь в вебмастере пишут про нарушения? 18:32 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 16:05 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:10 CPA-PRIVATE.BIZ - премиальная товарная программа. Только ТОП ставки!	22:24 Продвижение в телеграмм (рассылка, инвайт, парсинг) 22:03 Магазин аккаунтов, Smm и Sms сервис 17:20 Пираю ваши продукты на форумах, регистрирую, веду темы. 14:25 Размещу ссылку на своём сайте 13:41 Продам базы данных предприятий Украины, СНГ, ЕС, ЮВА. 12:07 anyexchange.best - обменный пункт электронных валют AnyExchange 11:32 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр.	23:15 Раздражающая привычка туристов на пляже вызвала споры среди россиян 16:24 Россияне начали скупать кнопочные телефоны 14:00 Каково быть самозанятым: плюсы и минусы 12:22 В Сочи на пляже выставили цену в 800 рублей за спасение утопающих 00:06 Ищу быстрый пф который загоняет в топ за 24-48 часов 20:18 Обмен крипты 13:50 Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+

Новые темы

Объявления

Свободное общение

19:51 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу.
18:41 Рекламная сеть пуш уведомлений
18:38 Чем заменили ТИЦ?
18:36 Кому нибудь в вебмастере пишут про нарушения?
18:32 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты
16:05 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
15:10 CPA-PRIVATE.BIZ - премиальная товарная программа. Только ТОП ставки!

22:24 Продвижение в телеграмм (рассылка, инвайт, парсинг)
22:03 Магазин аккаунтов, Smm и Sms сервис
17:20 Пираю ваши продукты на форумах, регистрирую, веду темы.
14:25 Размещу ссылку на своём сайте
13:41 Продам базы данных предприятий Украины, СНГ, ЕС, ЮВА.
12:07 anyexchange.best - обменный пункт электронных валют AnyExchange
11:32 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр.

23:15 Раздражающая привычка туристов на пляже вызвала споры среди россиян
16:24 Россияне начали скупать кнопочные телефоны
14:00 Каково быть самозанятым: плюсы и минусы
12:22 В Сочи на пляже выставили цену в 800 рублей за спасение утопающих
00:06 Ищу быстрый пф который загоняет в топ за 24-48 часов
20:18 Обмен крипты
13:50 Сервис услуг в YouTube, Вконтакте, Instagram, Twitter, Facebook, Одноклассники, Google+

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt

span4bob Сообщений: 6461 Регистрация: Апр 2013	#1 20 Мая 2016 10:22 Всем привет задался вот таким вопросом. Есть основной сайт подразделы (города) выведены в виде субдоменов. сайт.ру город1.сайт.ру город2.сайт.ру город3.сайт.ру В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно. Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%) Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор. Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены? Дай новую жизнь своим БЭКЛИНКАМ!!! ▼ ► ◄ ▲ Продвижение сателлитами ☻