robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
Торопись успеть!!!!


Летние скидки на прогоны - Дешевле только бесплатно ◄ !


Продвижение сателлитами


Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:41 30 ручных профильных ссылок тиц от 1000 до 170000 
06:50 Апдейт ТИЦ 15 августа 2017 
04:20 Нагрузка на сервер 
04:16 Нужно ли скрывать ссылки на CPA партнерки? 
00:06 Bodyclick.net - рекламная партнерская сеть. 
23:08 Запустили интернет магазин по стройматериалам месяц назад. Как продвигать в поиске? 
22:08 Нетематические разделы на сайте - мешают или помогают? 
12:39 30 ручных профильных ссылок тиц от 1000 до 170000 
12:38 30 ручных профильных ссылок тиц от 1000 до 170000 
12:38 30 ручных профильных ссылок тиц от 1000 до 170000 
12:35 Вечные линки с 200+ СДЛов, тиц до 750, ЯКи, DMOZ, от 1$/линк 
12:06 Продам сайт медицинской тематики . 
11:53 Наш сайт Bit-Exchanger.ru более 200+ направлений обмена 
11:44 30 ручных профильных ссылок тиц от 1000 до 170000 
12:37 Осенний чат на форуме / говорите о своём 
11:04 Трудовой стаж для фрилансеров в Украине? 
22:35 Дробим высокочастотный запрос на СЧ и НЧ в директе 
20:20 Активация аккаунта адсенс 
20:02 301 redirect 
17:29 Мануал как можно заработать деньги на финансовой партнерке Share4you 
17:13 [CPT]#CRYPTAUR- магазин децентрализованных приложений.