robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Вы не поверите!


Ссылки с сайтов - ТИЦ 100+ ◄ !


Продвижение сателлитами


Моя группа в ВК с плюшками
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:33 Помогите устранить проблемы с сайтом 
15:26 Апдейт 24.04.2017 
14:58 РСЯ и Поисковая компания для мобильного трафика 
14:56 Adsense личный опыт 
14:53 Биржы ссылок, статей и сайт кредитной тематики 
14:27 Яндекс обнулил всем значение тИЦ? 
13:57 тИЦ 12.04.2017 / Яндекс тИЦ 12.04.2017 
15:39 Нужен калькулятор для сайта на вордпресс 
15:37 Обменник Perfect Money, Payeer, OkPay, Приват24 
15:36 Адалт сайт (Видео, Фото, модели) 
14:53 Продам базу блогов и форумов, где можно создать тему и оставить ссылку 
14:39 Микроразметка под google и Яндекс 
14:28 Крупные новостные (СМИ) площадки, Яндекс Новости, Google News, анонсы, хорошая посещаемость. 
13:59 Продаю ssh-туннели 
15:01 Доры из авито 
14:24 Где мои деньги?! 
13:06 Схемы сохранения анонимности в сети 
12:35 Кто нибудь делает ставки на спорт? 
10:58 Сервис 1ps.ru 
10:50 (продолжение) 100 человек живых в группу с приглашений ВКонтакте за отзыв 
07:43 Посоветуйте тизерную сеть.