robots.txt для субдоменов
Страницы: 1
robots.txt для субдоменов, Yandexbot достал

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Всем привет задался вот таким вопросом.
Есть основной сайт подразделы (города) выведены в виде субдоменов.
сайт.ру
город1.сайт.ру
город2.сайт.ру
город3.сайт.ру

В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно.  Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?

Новогодние скидки на прогоны - Такого Вы ещё не в-и-д-е-л-и!!!

► ◄


Продвижение сателлитами


Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:05 Adsense - стоп-слова для фильтров 
13:43 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 
13:30 У вас тоже перестал работать GoogleBot в панеле вебмастера? 
12:51 Чо там, счетчик на Яндекс метрики сегодня? 
12:36 CleverAff - умные зарабатывают с нами 
12:18 Нашел много копий страниц своего сайта 
12:14 Ипорт в DLE 
15:27 Сервис ReCaptcha 2, 30р за 1000 решений. 
12:58 Онлайн сервис для широкого круга людей, доход (адсенс) 
12:31 https://avtozvuk.ua Что хочу сказать по поводу данного магазина, это настоящие кидалы и аферисты, если вы желаете приобрести технику уже которой пользовались и которая была в ремонте! то вам к ним! Это неадекватные люди, курьеры часто приезжают хамоватые, 
11:53 Linken Sphere – браузер-антидетект нового поколения 
11:40 Занимаюсь продвижением сайтов по доступным ценам. 
11:37 Продам интим сайт / готовый бизнес 
11:05 BackUrlFaster - автоматический прогон по комментариям 90.000 сайтов 
15:21 Работа для вебмастеров. 625 долл/сутки? - легко! 
14:46 Прямоугольник на сайте 
12:01 Кэшбери - это 
16:42 Фейковый сайт для подключения Сбербанк-online, Яндекс кассы и др. Нужна помощь. 
11:12 Нужен взлом аккаунта инстаграм 
09:22 Поймал фильтр от Яндекса «Обман пользователей мобильного интернета», потерял мобильный траф. 
21:34 Переезд сайта с домена на домен вопрос.