Резкий скачок нагрузки на хостинг

Сообщений: 64 Регистрация: Авг 2014

2 Марта 2015 14:57

Здравствуйте. Имеется сайт на wordpress. Установлен плагин WP super cache. Средняя нагрузка на хостинг в день была около 3 СР по данным панели управления.Однако в последнее время наблюдаю резкий скачок нагрузки до 17-20 СР. Включил логи.
Очень часто появляется следующая строка.

Код

217.69.134.62 - - [01/Mar/2015:00:08:22 +0300] "GET /sitemap-pt-post-2014-06.xml.gz HTTP/1.1" 200 2412 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)"

Как я понял это идет запрос на карту сайта в формате .xml.gz. Причем запрос идет с разных IP адресов из схожего диапазона. Например: 217.69.134.62, 217.69.134.65, 217.69.134.134 и т. д.
Думаю заблокировать эти IP, но есть сомнения: может это бот поисковика mail.ru.
Может кто-нибудь из форумчан посоветовать, что делать.

Beget - хороший и недорогой хостинг

Coder

Сообщений: 10233 Регистрация: Мар 2013

2 Марта 2015 15:08

Попробуйте для роботов (или для поставить задержку

Код
User-agent: Mail.Ru Crawl-delay: 2 # задает таймаут в 2 секунды

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Vight

Сообщений: 64 Регистрация: Авг 2014

2 Марта 2015 15:25

Coder, спасибо за ответ.
У меня в файле robots.txt уже имеется строка:

Код
User-agent: * Crawl-delay: 10

Может для Mail.ru не работает smile:confused:

Belka

Сообщений: 688 Регистрация: Апр 2010

2 Марта 2015 15:35

Цитата
Может для Mail.ru не работает

Похоже, что только:
User-Agent: Mail.Ru
Disallow: /

Бот Mail.Ru игнорирует директиву Crawl-delay.
Либо увеличить ресурсы...

Вооружение разных стран Мира.

Лучшие VDS по лучшим ценам.

Coder

Сообщений: 10233 Регистрация: Мар 2013

2 Марта 2015 15:39

Цитата
Vight пишет: Может для Mail.ru

Пожалуйста)

Отдельно для Mail выше по приоритету для него - из док. по mail. Поэтому - попробуйте.

Если, конечно, это у вас действительно робот с mail...

Belka

Сообщений: 688 Регистрация: Апр 2010

2 Марта 2015 15:56

Это сборщик mail.ru - fetcher.mail.ru. Создает серьезную нагрузку на сайт и, следовательно хостинг. Если нет личного смысла и толку от поисковика mail.ru, то можно просто заблокировать.

Vight

Сообщений: 64 Регистрация: Авг 2014

2 Марта 2015 16:00

Попробую тогда настроить файл роботс. Потестирую денек другой. О результатах отпишусь позже.

Цитата
Belka пишет: Либо увеличить ресурсы...

Понятно, что можно ресурсы увеличить. Просто интересно в причинах разобраться. Ведь ничего не делал с сайтом, только статьи добавлял. Сайт давно настроен и никаких изменений в настройках не было. Просто в один день нагрузка увеличилась 6-8 раз и все. Кстати в те дни когда смотрел логи подобных строчек с данных ip вообще не было. (Может 1-2 на весь файл.) А тут прям десятками повылазили.

Belka

Сообщений: 688 Регистрация: Апр 2010

2 Марта 2015 16:05

Vight, а бот mail.ru в принципе неспешный. Когда-то пришел и ко мне, устроив настоящий армагеддон на сервере. Даже сейчас, на VDS, нагрузка серьезно возрастает, когда начинается индексация.

sharkson

Сообщений: 5425 Регистрация: Янв 2014

2 Марта 2015 16:52

Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

НАДЕЖНЫЙ И НЕДОРОГОЙ ХОСТИНГ ТУТ
НЕДОРОГОЙ ХОСТИНГ
ПРОДАМ БЛОГ ЖЖ
СОЗДАНИЕ И НАСТРОЙКА MediaWiki и phpbb3

flash

Сообщений: 270 Регистрация: Дек 2010

#10

2 Марта 2015 17:25

может это ДДОС?

Крауд-маркетинг от 10-15 руб за вечную трафиковую ссылку на форумах. Постинг в соц.сети и др.

Качественный хостинг Моментальная поддержка. Бесплатный ssl-сертификат

Vight

Сообщений: 64 Регистрация: Авг 2014

#11

2 Марта 2015 17:26

sharkson, спасибо за еще один способ.
Обязательно попробую после небольшого теста с роботс.

Цитата
Belka пишет: а бот mail.ru в принципе неспешный

Действительно. Сайт небольшой - около 250 страниц. Но бот уже несколько дней (если не неделю) спокойно себе грузит и все...

Vight

Сообщений: 64 Регистрация: Авг 2014

#12

2 Марта 2015 18:52

flash, не знаю. В техническом плане я нуб. Поэтому буду пробовать пока варианты, которые мне под силу. Благо пока до предела нагрузки далеко.

Vight

Сообщений: 64 Регистрация: Авг 2014

#13

16 Марта 2015 20:42

sharkson, спасибо.
Ваш способ помог. Нагрузка уменьшилась до прежнего уровня.
Спасибо всем, кто помогал своими советами.

webmaster md

Сообщений: 35 Регистрация: Мар 2015

#14

20 Марта 2015 11:03

У меня на одном сервере тестовом уже три дня подряд нагрузка 100%. Пока небыло времени разбираться, но думаю что тоже какой-то бот шалит, если нагрузка не упадет, придется копаться в логах. Причем страницы нормально отдаются, как всегда, а вот зайти на него по RDP не получается, вернее получается но работать невозможно.

Создание и продвижение сайтов в Молдове webmaster.md Разработка мобильных приложений...

Coder

Сообщений: 10233 Регистрация: Мар 2013

#15

20 Марта 2015 11:10

Цитата
webmaster md пишет: придется копаться в логах

Обязательно. Некоторое время назад не дос, но уж очень агрессивно (скачивали сайт, может быть) - 2 американских ip, превышение жесткого лимита на шареде в 2,7, примерно, раза - пока не забанил, не успокоились.

Второй вариант - скрипты - задержка с выполнением в php (sleep) вызывает повышенный фон нагрузки от номинала (обычного среднего состояния), примерно в два раза (скрипт по крону в одну минуту).

Похожие темы:

22.01.2021 14:32

Резкий рост прямых заходов на сайт

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
04:53 Как раскрутить сайт? 19:21 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 19:01 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:59 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы \| Еженедельные Выплаты \| CPA до $950 13:14 2Index - быстрая индексация страниц сайта и обратных ссылок 14:59 Партнерская программа OWNR WALLET 14:41 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).	23:01 Партнёрка для вебмастеров 20:47 EasyBusy.bz Проводи обмены легко и быстро вместе с нами 19:17 Johnny.Do \| Обмен криптовалют с круглосуточной техподдержкой 18:13 Ural-obmen.ru — выгодный сервис обмена 16:48 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 15:52 Продам аккаунты HH.RU 15:24 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно	04:23 Точные прогнозы на футбол 17:34 С юмором по жизни! 08:11 Добро пожаловать в цифровой мир... 20:36 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 09:45 Подтягиваем физкультурку 15:02 Замедление скорости YouTube будет происходить по естественным причинам 09:47 Китайцы создали себе национальный Linux, напичканный ИИ-функциями