Резкий скачок нагрузки на хостинг
Страницы: 1 2 След.
Резкий скачок нагрузки на хостинг
Здравствуйте. Имеется сайт на wordpress. Установлен плагин WP super cache. Средняя нагрузка на хостинг в день была около 3 СР по данным панели управления.Однако в последнее время наблюдаю резкий скачок нагрузки до 17-20 СР. Включил логи.
Очень часто появляется следующая строка.

Код
217.69.134.62 - - [01/Mar/2015:00:08:22 +0300] "GET /sitemap-pt-post-2014-06.xml.gz HTTP/1.1" 200 2412 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)"
Как я понял это идет запрос на карту сайта в формате .xml.gz. Причем запрос идет с разных IP адресов из схожего диапазона. Например: 217.69.134.62, 217.69.134.65, 217.69.134.134 и т. д.
 Думаю заблокировать эти IP, но есть сомнения: может это бот поисковика mail.ru.
Может кто-нибудь из форумчан посоветовать, что делать.

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Попробуйте для роботов (или для поставить задержку

Код
User-agent: Mail.Ru
Crawl-delay: 2 # задает таймаут в 2 секунды
Coder, спасибо за ответ.
У меня в файле robots.txt уже имеется строка:


Код
User-agent: *
Crawl-delay: 10 
Может для Mail.ru не работает smile:confused:
Цитата
Может для Mail.ru не работает smile:confused:
Похоже, что только:
User-Agent: Mail.Ru
Disallow: /

Бот Mail.Ru игнорирует директиву Crawl-delay.
Либо увеличить ресурсы...
Цитата
Vight пишет:
Может для Mail.ru
Пожалуйста)

Отдельно для Mail  выше по приоритету для него - из док. по mail. Поэтому - попробуйте.

Если, конечно, это у вас действительно робот с mail...
Это сборщик mail.ru - fetcher.mail.ru. Создает серьезную нагрузку на сайт и, следовательно хостинг. Если нет личного смысла и толку от поисковика mail.ru, то можно просто заблокировать.
Попробую тогда настроить файл роботс. Потестирую денек другой. О результатах отпишусь позже. 


Цитата
Belka пишет:
Либо увеличить ресурсы...
Понятно, что можно ресурсы увеличить. Просто интересно в причинах разобраться. Ведь ничего не делал с сайтом, только статьи добавлял. Сайт давно настроен и никаких изменений в настройках не было. Просто в один день нагрузка увеличилась 6-8 раз и все. Кстати в те дни когда смотрел логи подобных строчек с данных ip вообще не было. (Может 1-2 на весь файл.) А тут прям десятками повылазили.
Vight,  а бот mail.ru в принципе неспешный. Когда-то пришел и ко мне, устроив настоящий армагеддон на сервере. Даже сейчас, на VDS, нагрузка серьезно возрастает, когда начинается индексация.
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>
может это ДДОС?
Крауд-маркетинг от 10-15 руб за вечную трафиковую ссылку на форумах. Постинг в соц.сети и др.

Качественный хостинг Моментальная поддержка. Бесплатный ssl-сертификат
sharkson, спасибо за еще один способ.
Обязательно попробую после небольшого теста с роботс.



Цитата
Belka пишет:
а бот mail.ru в принципе неспешный
Действительно. Сайт небольшой - около 250 страниц. Но бот уже несколько дней (если не неделю) спокойно себе грузит и все...
flash, не знаю. В техническом плане я нуб. Поэтому буду пробовать пока варианты, которые мне под силу. Благо пока до предела нагрузки далеко.
sharkson, спасибо.
Ваш способ помог. Нагрузка уменьшилась до прежнего уровня.
Спасибо всем, кто помогал своими советами. 
У меня на одном сервере тестовом уже три дня подряд нагрузка 100%. Пока небыло времени разбираться, но думаю что тоже какой-то бот шалит, если нагрузка не упадет, придется копаться в логах. Причем страницы нормально отдаются, как всегда, а вот зайти на него по RDP не получается, вернее получается но работать невозможно.
Создание и продвижение сайтов в Молдове webmaster.md Разработка мобильных приложений...
Цитата
webmaster md пишет:
придется копаться в логах
Обязательно. Некоторое время назад не дос, но уж очень агрессивно (скачивали сайт, может быть) - 2 американских ip, превышение жесткого лимита на шареде в 2,7, примерно, раза - пока не забанил, не успокоились.

Второй вариант - скрипты - задержка с выполнением в php (sleep) вызывает повышенный фон нагрузки от номинала (обычного среднего состояния), примерно в два раза (скрипт по крону в одну минуту).
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
02:19 Яндекс наложил фильтр за несоответствие безопасности. Как найти причину? 
00:38 Продвинуть сайт в топ яндекса. 
22:39 20 января 2020 Апдейт Яндекс выдача 
22:35 Мои сайты теперь мои 
21:18 Сайт для иностранцев 
20:09 Перенос сайта с uCoz на WP 
20:02 Посоветуйте бесплатную тему Вордпресс 
04:30 Продам сайт 4 в 1. Новости hi-tech. Обзор гаджетов. Каталог смартфонов. Каталог Андроид игр 
03:13 [Бесплатный тест] Топовые мобильные прокси RU, UA, UK. AIRSOCKS 3G / 4G / LTE. С подменой Passive OS fingerprint (Windows / Mac / Android / iPhone) 
23:59 Контент для вашего сайта под ключ 
23:49 Английский Download каталог софта и обновлений 
23:46 Наполнение сайтов контентом 
23:41 Услуги взлома ,переписка whats app/viber 
23:20 Персональные прокси сервера http/https + socks5 
04:37 Промокоды на 10% скидку на покупку в магазине 
00:13 Clickpay.Money — push-партнерка для лёгкой и удобной монетизации ваших площадок! 
23:37 Курсы для школьника 
23:10 Посоветуйте сервис с оплачиваемыми задачами. Нужны дешевые исполнители 
23:07 Нужны живые подписчики телеграм 
09:25 Количество материала и посещаемость 
20:19 Наши машинки