robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?

Новогодние скидки на прогоны - Такого Вы ещё не в-и-д-е-л-и!!!

► ◄


Продвижение сателлитами


Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:04 Помогите с сайтом 
22:13 В место ТИц будет ПУС 
21:21 Popunder.ru - крупнейшая биржа трафика, стабильные выплаты с 2007 года! 
21:09 Отзывы на Google maps 
20:42 Размытие изображений 
19:59 Доход Adsense 
19:58 Вывод в ТОП статьи в subscribe.ru или sostav.ru 
23:57 [Бесплатный тест] Airsocks. Инновационные 4G / LTE прокси. Забудь все что было раньше! 
21:01 Sms-acktiwator.ru - Лучшие цены на СМС Активации 
19:02 Наращивание ссылочного веса. Сквозные ссылки 
19:02 Размещу вашу RSS ленту на своих сайтах 
19:01 Размещаю статьи и баннеры - старые трастовые сайты 
18:26 Едем в топ 
17:42 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
00:22 Подскажите сервис смс подтверждения регистрации на сайте 
18:28 Обмен приват24 на вебмани 
18:03 Доменная зона .ru для адалта, опасно? или нет? 
18:01 Чем монетизируете АДАЛТ? 
18:00 Как выучить правила? - Автошкола 
15:20 Кому пришла выплата с AdSense? 
14:27 Что за cms