robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Вы не поверите!


Ссылки с сайтов - ТИЦ 100+ ◄ !


Продвижение сателлитами


Моя группа в ВК с плюшками
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:36 Adsense личный опыт 
22:10 Снижение траста на молодом сайте 
22:01 Ищу код для замены капчи в форме обратной связи 
20:58 Апдейт 29.05.2017 
20:37 Proleed - партнерская CPS сеть. Тематика трафика: «Образование», «Курсы обучения» 
18:55 AffiliateCube 3.0 - усовершенствованная платформа 
18:31 Заказ вечной ссылки на старой статье 
20:58 Продвижение в Яндексе 
19:14 Рерайт, копирайт, переводы, авторские статьи. 
18:51 200 открытых анкорных ссылок всего за 100 рублей 
17:21 Команда постеров 
17:11 Повышение ранжирования площадок и их авторитетности в лице поисковиков белыми методами 
15:41 Продаю ssh-туннели 
15:26 20 крутых ссылок всего за 499 рублей! Из них 14 сайтов в ЯК, 6 в DMOZ, средний ТИЦ 225. Только ручное размещение! 
21:39 Не могу продвинуться в топе 
21:24 Топ самых лучших книг 
21:21 Восхождение на Эльбрус 
20:30 MFA сайтами еще занимаються? 
20:21 Трансляции спорта 
19:11 Топ-6 самых мотивирующих фильмов 
19:04 Веселые картинки