Резкий скачок нагрузки на хостинг

Сообщений: 135 Регистрация: Дек 2013

#16

1 Июня 2015 22:15

У меня в логах тоже оказывается безобразие.Например IP 78.25.123.200 за 5 секунд больше 50 раз обращался к одной странице.
Интересно, что ip-inspector.com показывает место его нахождения - Большой Кремлевский Дворец.
Много в логах и других IP, ведущих себя аналогично.
Как с этим бороться? Как банить чтобы боты Яндекса и Гугла не забанить?
Может прописать в robots.txt

[TABLE]

[TR][TD]
User-agent: *
Crawl-delay: 10

[/TD][/TR]

[/TABLE]

а со следующего дня (или с какого?) смотреть логи и тех, кто частит - в бан? и прицепом бота mail.ru о котором говорилось выше.Как вы с этим боретесь?
Не будешь же по одному IP проверять и гадать, уж не Яндекса ли бот забрел? Их же немало...

Алексей Самойлов

Сообщений: 85 Регистрация: Июл 2015

#17

10 Ноября 2016 12:46

Цитата
sharkson пишет: Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так: <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_REFERER} mail.ru [NC] RewriteRule .* - [F] </ifModule>

Стало актуально для меня. данный код мэйл проигнорировал, продолжает запрашивать по кругу сайтмап -)

Алексей Самойлов

Сообщений: 85 Регистрация: Июл 2015

#18

10 Ноября 2016 12:54

Кстати вот это тоже не помогло

Код
User-agent: Mail.Ru Crawl-delay: 15 Disallow: /*.xml

Виктор

Сообщений: 52 Регистрация: Сен 2016

#19

21 Ноября 2016 16:17

Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Алексей Самойлов

Сообщений: 85 Регистрация: Июл 2015

#20

21 Ноября 2016 20:37

Цитата
Виктор пишет: Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Так проблема в том, что ему плевать на роботс и htaccess. Помогло только письмо в техподдежку.

Сашка Сообщений: 474 Регистрация: Фев 2016	#21 21 Ноября 2016 21:30 можно заблокировать сеть IP, если Crawl-delay не доходит No pain, no gain

Новые темы	Объявления	Свободное общение
20:57 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 14:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:38 2Index - быстрая индексация страниц сайта и обратных ссылок 12:44 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 23:09 Как безопасно купить Гугл почту? 13:45 Какой движок выбрать для форума? 13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать	05:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 04:20 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:26 Sova.gg - надежный обменник криптовалюты. 19:23 Mixmasters - Exchange without AML and KYC 15:54 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 14:05 TETChange-Обменник криптовалют 12:36 Nexulume.com Обменник без AML и KYC	06:50 Точные прогнозы на футбол 06:06 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 02:12 Ставки на супер тренды в спорте 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 07:11 Список обновленных тем пуст... 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем

Новые темы

Объявления

Свободное общение

20:57 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
14:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:38 2Index - быстрая индексация страниц сайта и обратных ссылок
12:44 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?
23:09 Как безопасно купить Гугл почту?
13:45 Какой движок выбрать для форума?
13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать

05:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
04:20 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
23:26 Sova.gg - надежный обменник криптовалюты.
19:23 Mixmasters - Exchange without AML and KYC
15:54 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
14:05 TETChange-Обменник криптовалют
12:36 Nexulume.com Обменник без AML и KYC

06:50 Точные прогнозы на футбол
06:06 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?
02:12 Ставки на супер тренды в спорте
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
07:11 Список обновленных тем пуст...
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем