robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?

Новогодние скидки на прогоны - Такого Вы ещё не в-и-д-е-л-и!!!

► ◄


Продвижение сателлитами


Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:33 У вас тоже ссылки в адсенс съехали? 
20:22 Kokos.click - народная тизерная сеть! 
19:16 Рекламная сеть яндекса личный опыт 
18:43 Оптимизация 
17:23 Mpay69.biz - монетизация адалт трафика с мобильных устройств 
16:30 Не продвигается сайт 
15:54 Сайту скоро 2 года. Пишу пишу... а посетителей не прибавляется((( 
19:48 Статейные ссылки по низкой цене и с хорошим качеством 
19:16 Настройка, оптимизация и введение Google AdWords и Яндекс.Директ 
17:53 Продажа баз доменов на различных эксклюзивных CMS 
16:13 Меню для сайта. 
15:40 Вывод в ТОП Google. 30 вечных ссылок с PR9 
12:26 Продам каналы Яндекс Дзен 
12:19 Продам дзен-канал на 2к подписчиков 
20:02 Что делать, когда завидуешь своему конкуренту? 
19:31 Работа по всей РФ 
17:19 Форма проверки лотерей на сайт 
15:57 Что такое 1 ТИЦ - так показывает супр 
14:41 CPA Life 2018 - 26 Апреля в Санкт-Петербурге 
13:18 Развитие Телеграм канала 
00:41 TotalCryptoPro - Система автоматизированного заработка криптовалют.