Резкий скачок нагрузки на хостинг
Страницы: 1 2 След.
Резкий скачок нагрузки на хостинг
Здравствуйте. Имеется сайт на wordpress. Установлен плагин WP super cache. Средняя нагрузка на хостинг в день была около 3 СР по данным панели управления.Однако в последнее время наблюдаю резкий скачок нагрузки до 17-20 СР. Включил логи.
Очень часто появляется следующая строка.

Код
217.69.134.62 - - [01/Mar/2015:00:08:22 +0300] "GET /sitemap-pt-post-2014-06.xml.gz HTTP/1.1" 200 2412 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)"
Как я понял это идет запрос на карту сайта в формате .xml.gz. Причем запрос идет с разных IP адресов из схожего диапазона. Например: 217.69.134.62, 217.69.134.65, 217.69.134.134 и т. д.
 Думаю заблокировать эти IP, но есть сомнения: может это бот поисковика mail.ru.
Может кто-нибудь из форумчан посоветовать, что делать.

Бесплатная контекстная реклама

Попробуйте для роботов (или для поставить задержку

Код
User-agent: Mail.Ru
Crawl-delay: 2 # задает таймаут в 2 секунды
Coder, спасибо за ответ.
У меня в файле robots.txt уже имеется строка:


Код
User-agent: *
Crawl-delay: 10 
Может для Mail.ru не работает smile:confused:
Цитата
Может для Mail.ru не работает smile:confused:
Похоже, что только:
User-Agent: Mail.Ru
Disallow: /

Бот Mail.Ru игнорирует директиву Crawl-delay.
Либо увеличить ресурсы...
Цитата
Vight пишет:
Может для Mail.ru
Пожалуйста)

Отдельно для Mail  выше по приоритету для него - из док. по mail. Поэтому - попробуйте.

Если, конечно, это у вас действительно робот с mail...
Это сборщик mail.ru - fetcher.mail.ru. Создает серьезную нагрузку на сайт и, следовательно хостинг. Если нет личного смысла и толку от поисковика mail.ru, то можно просто заблокировать.
Попробую тогда настроить файл роботс. Потестирую денек другой. О результатах отпишусь позже. 


Цитата
Belka пишет:
Либо увеличить ресурсы...
Понятно, что можно ресурсы увеличить. Просто интересно в причинах разобраться. Ведь ничего не делал с сайтом, только статьи добавлял. Сайт давно настроен и никаких изменений в настройках не было. Просто в один день нагрузка увеличилась 6-8 раз и все. Кстати в те дни когда смотрел логи подобных строчек с данных ip вообще не было. (Может 1-2 на весь файл.) А тут прям десятками повылазили.
Vight,  а бот mail.ru в принципе неспешный. Когда-то пришел и ко мне, устроив настоящий армагеддон на сервере. Даже сейчас, на VDS, нагрузка серьезно возрастает, когда начинается индексация.
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>
может это ДДОС?
Крауд-маркетинг от 10-15 руб за вечную трафиковую ссылку на форумах. Постинг в соц.сети и др.

Качественный хостинг Моментальная поддержка. Бесплатный ssl-сертификат
sharkson, спасибо за еще один способ.
Обязательно попробую после небольшого теста с роботс.



Цитата
Belka пишет:
а бот mail.ru в принципе неспешный
Действительно. Сайт небольшой - около 250 страниц. Но бот уже несколько дней (если не неделю) спокойно себе грузит и все...
flash, не знаю. В техническом плане я нуб. Поэтому буду пробовать пока варианты, которые мне под силу. Благо пока до предела нагрузки далеко.
sharkson, спасибо.
Ваш способ помог. Нагрузка уменьшилась до прежнего уровня.
Спасибо всем, кто помогал своими советами. 
У меня на одном сервере тестовом уже три дня подряд нагрузка 100%. Пока небыло времени разбираться, но думаю что тоже какой-то бот шалит, если нагрузка не упадет, придется копаться в логах. Причем страницы нормально отдаются, как всегда, а вот зайти на него по RDP не получается, вернее получается но работать невозможно.
Создание и продвижение сайтов в Молдове webmaster.md Разработка мобильных приложений...
Цитата
webmaster md пишет:
придется копаться в логах
Обязательно. Некоторое время назад не дос, но уж очень агрессивно (скачивали сайт, может быть) - 2 американских ip, превышение жесткого лимита на шареде в 2,7, примерно, раза - пока не забанил, не успокоились.

Второй вариант - скрипты - задержка с выполнением в php (sleep) вызывает повышенный фон нагрузки от номинала (обычного среднего состояния), примерно в два раза (скрипт по крону в одну минуту).
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:56 Продвижение в ТОП Яндекс. Мега быстро! 
15:55 Зеннопостер мне помог! 
15:31 Стоит ли покупать Zenoposter 
15:30 Quick Sender - одна из лучших программ для работы с "ВКонтакте" 
15:28 Как продвигается сайт без статей 
14:05 Все внешние ссылки с сайта 
11:57 Обновление поисковой базы 19.08.2019 
14:13 Качественный современный дизайн сайтов, логотипов, печатной продукции. Верстка HTML5/CSS3/JS. 
09:29 AllChange24 - Лучший сервис по обмену электронных валют 
00:56 Размещу 1501 ссылку на Ваш сайт. + Бонус 
23:55 TopsocMan- Накрутка в соц сети. Магазин аккаунтов. SEO и SMM услуги. 
22:43 Telegram Soft многопоточный комбайн для Telegram 
22:11 EasyTop - [FREE] программа для сервисов накрутки 
20:08 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
11:48 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 
15:36 Заработок на Инстаграме. Плюс продвижение своей страницы кому нужно. годный софт для мф и рассылок 
08:39 Недозаказчик кинул на 225 рублей 
08:30 Кому пришла выплата с AdSense? 
20:51 Скрины спама 
11:15 Помогите пожалуйста советом по оптимизации 
19:40 Чтобы пользователи сами добавлял рецепт на сайт