Резкий скачок нагрузки на хостинг
Страницы: Пред. 1 2
Резкий скачок нагрузки на хостинг
У меня в логах тоже оказывается безобразие.Например IP 78.25.123.200 за 5 секунд больше 50 раз обращался к одной странице. 
Интересно, что ip-inspector.com показывает место его нахождения - Большой Кремлевский Дворец.
Много в логах и других IP, ведущих себя аналогично. 
Как с этим бороться? Как банить чтобы боты Яндекса и Гугла не забанить?
Может прописать в robots.txt

[TABLE]

[TR][TD]
User-agent: *
Crawl-delay: 10

[/TD][/TR]

[/TABLE]

а со следующего дня (или с какого?) смотреть логи и тех, кто частит - в бан? и прицепом бота mail.ru о котором говорилось выше.Как вы с этим боретесь?
Не будешь же по одному IP проверять и гадать, уж не Яндекса ли бот забрел? Их же немало...
Цитата
sharkson пишет:
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

Стало актуально для меня. данный код мэйл проигнорировал, продолжает запрашивать по кругу сайтмап -)
Кстати вот это тоже не помогло 
Код
User-agent: Mail.Ru
Crawl-delay: 15
Disallow: /*.xml 
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.
Цитата
Виктор пишет:
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Так проблема в том, что ему плевать на роботс и htaccess. Помогло только письмо в техподдежку.
можно заблокировать сеть IP, если Crawl-delay не доходит
No pain, no gain
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:29 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
17:29 Как продвигать сайт с неуникальным контентом 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
15:31 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:09 swapsfera.com 
13:08 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 
12:31 GoodsMoney.io 
12:26 Разработка сайта, интернет-магазина, каталога на Joomla 5 и выше – опыт с 2009 года. 
11:13 Telegram Bot автопродаж Google Voice , Old USA Gmail 2006 - 2016. 
11:13 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
23:07 Ну что, кто куда деваете свои сайты? 
19:30 Добро пожаловать в цифровой мир... 
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
22:08 Накрутка поисковых подсказок 
05:04 Точные прогнозы на футбол 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди