Резкий скачок нагрузки на хостинг
Страницы: Пред. 1 2
Резкий скачок нагрузки на хостинг
У меня в логах тоже оказывается безобразие.Например IP 78.25.123.200 за 5 секунд больше 50 раз обращался к одной странице. 
Интересно, что ip-inspector.com показывает место его нахождения - Большой Кремлевский Дворец.
Много в логах и других IP, ведущих себя аналогично. 
Как с этим бороться? Как банить чтобы боты Яндекса и Гугла не забанить?
Может прописать в robots.txt

[TABLE]

[TR][TD]
User-agent: *
Crawl-delay: 10

[/TD][/TR]

[/TABLE]

а со следующего дня (или с какого?) смотреть логи и тех, кто частит - в бан? и прицепом бота mail.ru о котором говорилось выше.Как вы с этим боретесь?
Не будешь же по одному IP проверять и гадать, уж не Яндекса ли бот забрел? Их же немало...
Цитата
sharkson пишет:
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

Стало актуально для меня. данный код мэйл проигнорировал, продолжает запрашивать по кругу сайтмап -)
Кстати вот это тоже не помогло 
Код
User-agent: Mail.Ru
Crawl-delay: 15
Disallow: /*.xml 
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.
Цитата
Виктор пишет:
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Так проблема в том, что ему плевать на роботс и htaccess. Помогло только письмо в техподдежку.
можно заблокировать сеть IP, если Crawl-delay не доходит
No pain, no gain
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 2, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:22 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
16:18 Adtrafico - Правильная партнёрская сеть под бурж трафик 
12:26 Bropush - твой бро в монетизации сайта push-уведомлениями 
17:06 Perfect.Studio: InstAccountsManager — лучший инструмент для автоматизации заработка в Instagram 
16:04 VKAccountsManager — лучший инструмент для продвижения и заработка Вконтакте 
13:26 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
11:46 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
06:49 Transit-Bit.com - Обмен USDT на IDR, THB, RUB и наличные 
13:32 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
11:17 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
22:21 ProxyWins.com - 15% по промо-коду "venividivici" 
17:00 Burzh.top|Партнерская программа под любой вид трафика (email, спам, УБТ) 
16:07 Ural-obmen.ru — выгодный сервис обмена 
15:57 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
11:02 Видимо, похороны СУПРа уже прошли как-то по-тихому 
22:18 Добро пожаловать в цифровой мир... 
23:41 Точные прогнозы на футбол 
12:04 Как получить рефералов и посетителей на сайт бесплатно. 
12:48 Каспкрски ОС 
11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок