Резкий скачок нагрузки на хостинг
Страницы: Пред. 1 2
Резкий скачок нагрузки на хостинг
У меня в логах тоже оказывается безобразие.Например IP 78.25.123.200 за 5 секунд больше 50 раз обращался к одной странице. 
Интересно, что ip-inspector.com показывает место его нахождения - Большой Кремлевский Дворец.
Много в логах и других IP, ведущих себя аналогично. 
Как с этим бороться? Как банить чтобы боты Яндекса и Гугла не забанить?
Может прописать в robots.txt

[TABLE]

[TR][TD]
User-agent: *
Crawl-delay: 10

[/TD][/TR]

[/TABLE]

а со следующего дня (или с какого?) смотреть логи и тех, кто частит - в бан? и прицепом бота mail.ru о котором говорилось выше.Как вы с этим боретесь?
Не будешь же по одному IP проверять и гадать, уж не Яндекса ли бот забрел? Их же немало...
Цитата
sharkson пишет:
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

Стало актуально для меня. данный код мэйл проигнорировал, продолжает запрашивать по кругу сайтмап -)
Кстати вот это тоже не помогло 
Код
User-agent: Mail.Ru
Crawl-delay: 15
Disallow: /*.xml 
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.
Цитата
Виктор пишет:
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Так проблема в том, что ему плевать на роботс и htaccess. Помогло только письмо в техподдежку.
можно заблокировать сеть IP, если Crawl-delay не доходит
No pain, no gain
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 2, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:46 adsense в 2026: кто реально выводит копейку через киргизию? 
22:09 Как поймать партнера на «сливе» бренда? 
22:05 Очередной взлом через плагин. Хакеры получают админку без пароля 
20:40 Мошенники-копирайтеры 
17:52 Подскажите ТОП 5-10 ИМ с современным дизайном? 
17:42 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
17:38 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
23:48 GoodsMoney.io 
23:46 Volna.money 
22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:14 Bardo — Бюро развития и координации цифровых операций. 
17:32 Вериф аккаунты АВИТО + платежи 
13:09 Продажа аккаунтов HH.RU 
12:03 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 
22:13 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
19:04 Какой фильм вы любите посмотреть перед сном? 
19:03 О природе путешествий. 
19:02 Огородники 
01:47 Точные прогнозы на футбол 
17:45 молодильные яблоки и живая вода 
15:04 Сайты Рунета