Резкий скачок нагрузки на хостинг
Страницы: Пред. 1 2
Резкий скачок нагрузки на хостинг
У меня в логах тоже оказывается безобразие.Например IP 78.25.123.200 за 5 секунд больше 50 раз обращался к одной странице. 
Интересно, что ip-inspector.com показывает место его нахождения - Большой Кремлевский Дворец.
Много в логах и других IP, ведущих себя аналогично. 
Как с этим бороться? Как банить чтобы боты Яндекса и Гугла не забанить?
Может прописать в robots.txt

[TABLE]

[TR][TD]
User-agent: *
Crawl-delay: 10

[/TD][/TR]

[/TABLE]

а со следующего дня (или с какого?) смотреть логи и тех, кто частит - в бан? и прицепом бота mail.ru о котором говорилось выше.Как вы с этим боретесь?
Не будешь же по одному IP проверять и гадать, уж не Яндекса ли бот забрел? Их же немало...
Цитата
sharkson пишет:
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

Стало актуально для меня. данный код мэйл проигнорировал, продолжает запрашивать по кругу сайтмап -)
Кстати вот это тоже не помогло 
Код
User-agent: Mail.Ru
Crawl-delay: 15
Disallow: /*.xml 
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.
Цитата
Виктор пишет:
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Так проблема в том, что ему плевать на роботс и htaccess. Помогло только письмо в техподдежку.
можно заблокировать сеть IP, если Crawl-delay не доходит
No pain, no gain
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:19 Refmate — сервис для взаимного обмена ссылками 
13:06 Продвижение по ключам 
09:47 Adsense личный опыт 
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
08:27 Ищу специалистов 
08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 
08:32 Продам сайт финансовой тематики (банки, мфо) срочно с доменом!!! 
08:10 Аккаунт исполнителя fl.ru 
05:19 Swapper.ws - Обмен криптовалют. Быстро, выгодно, круглосуточно. 
04:06 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
01:41 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
20:22 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
18:48 Продажа аккаунтов HH.RU 
17:46 Всего п онемногу 
12:45 Куплю проигрышные букмекерские аккаунты 
11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 
17:09 Точные прогнозы на футбол 
10:00 Ну что, кто куда деваете свои сайты? 
16:22 Компьютерная мышь 
23:55 Добро пожаловать в цифровой мир...