Резкий скачок нагрузки на хостинг
Страницы: 1 2 След.
Резкий скачок нагрузки на хостинг
Здравствуйте. Имеется сайт на wordpress. Установлен плагин WP super cache. Средняя нагрузка на хостинг в день была около 3 СР по данным панели управления.Однако в последнее время наблюдаю резкий скачок нагрузки до 17-20 СР. Включил логи.
Очень часто появляется следующая строка.

Код
217.69.134.62 - - [01/Mar/2015:00:08:22 +0300] "GET /sitemap-pt-post-2014-06.xml.gz HTTP/1.1" 200 2412 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)"
Как я понял это идет запрос на карту сайта в формате .xml.gz. Причем запрос идет с разных IP адресов из схожего диапазона. Например: 217.69.134.62, 217.69.134.65, 217.69.134.134 и т. д.
 Думаю заблокировать эти IP, но есть сомнения: может это бот поисковика mail.ru.
Может кто-нибудь из форумчан посоветовать, что делать.

Бесплатная контекстная реклама

Попробуйте для роботов (или для поставить задержку

Код
User-agent: Mail.Ru
Crawl-delay: 2 # задает таймаут в 2 секунды
Coder, спасибо за ответ.
У меня в файле robots.txt уже имеется строка:


Код
User-agent: *
Crawl-delay: 10 
Может для Mail.ru не работает smile:confused:
Цитата
Может для Mail.ru не работает smile:confused:
Похоже, что только:
User-Agent: Mail.Ru
Disallow: /

Бот Mail.Ru игнорирует директиву Crawl-delay.
Либо увеличить ресурсы...
Цитата
Vight пишет:
Может для Mail.ru
Пожалуйста)

Отдельно для Mail  выше по приоритету для него - из док. по mail. Поэтому - попробуйте.

Если, конечно, это у вас действительно робот с mail...
Это сборщик mail.ru - fetcher.mail.ru. Создает серьезную нагрузку на сайт и, следовательно хостинг. Если нет личного смысла и толку от поисковика mail.ru, то можно просто заблокировать.
Попробую тогда настроить файл роботс. Потестирую денек другой. О результатах отпишусь позже. 


Цитата
Belka пишет:
Либо увеличить ресурсы...
Понятно, что можно ресурсы увеличить. Просто интересно в причинах разобраться. Ведь ничего не делал с сайтом, только статьи добавлял. Сайт давно настроен и никаких изменений в настройках не было. Просто в один день нагрузка увеличилась 6-8 раз и все. Кстати в те дни когда смотрел логи подобных строчек с данных ip вообще не было. (Может 1-2 на весь файл.) А тут прям десятками повылазили.
Vight,  а бот mail.ru в принципе неспешный. Когда-то пришел и ко мне, устроив настоящий армагеддон на сервере. Даже сейчас, на VDS, нагрузка серьезно возрастает, когда начинается индексация.
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>
может это ДДОС?
Крауд-маркетинг от 10-15 руб за вечную трафиковую ссылку на форумах. Постинг в соц.сети и др.

Качественный хостинг Моментальная поддержка. Бесплатный ssl-сертификат
sharkson, спасибо за еще один способ.
Обязательно попробую после небольшого теста с роботс.



Цитата
Belka пишет:
а бот mail.ru в принципе неспешный
Действительно. Сайт небольшой - около 250 страниц. Но бот уже несколько дней (если не неделю) спокойно себе грузит и все...
flash, не знаю. В техническом плане я нуб. Поэтому буду пробовать пока варианты, которые мне под силу. Благо пока до предела нагрузки далеко.
sharkson, спасибо.
Ваш способ помог. Нагрузка уменьшилась до прежнего уровня.
Спасибо всем, кто помогал своими советами. 
У меня на одном сервере тестовом уже три дня подряд нагрузка 100%. Пока небыло времени разбираться, но думаю что тоже какой-то бот шалит, если нагрузка не упадет, придется копаться в логах. Причем страницы нормально отдаются, как всегда, а вот зайти на него по RDP не получается, вернее получается но работать невозможно.
Создание и продвижение сайтов в Молдове webmaster.md Разработка мобильных приложений...
Цитата
webmaster md пишет:
придется копаться в логах
Обязательно. Некоторое время назад не дос, но уж очень агрессивно (скачивали сайт, может быть) - 2 американских ip, превышение жесткого лимита на шареде в 2,7, примерно, раза - пока не забанил, не успокоились.

Второй вариант - скрипты - задержка с выполнением в php (sleep) вызывает повышенный фон нагрузки от номинала (обычного среднего состояния), примерно в два раза (скрипт по крону в одну минуту).
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
06:17 empire market url 
05:58 Накрутка ПФ - сколько может стоить? 
02:25 Кейс по продвижению сайта в Яндексе с помощью поведенческого фактора 
20:12 Способ для получения самых эффективных обратных ссылок? Крауд-маркетинг 
18:34 ClickDealer- свои люди на рынке буржа! 
16:51 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
15:05 Adtrafico - Правильная партнёрская сеть под бурж трафик 
20:16 Копирайтинг со знаком качества! 
16:27 Купоны на XEvil Xrumer скидка 55% + бонус + 6 месяцев абон.платы при покупке 
16:21 PROXY5.ru — Анонимные прокси дешево / IPv4 на 30 дней от 5$ 
15:54 SmmDrugs.ru - Дешевая накрутка в социальные сети 
12:24 Liteexchanger - Безопасный сервис для обмена 
11:54 Bat Cop — этому городу нужен надежный копирайтер! 
08:47 Мониторинг обменных пунктов Pro-ex.club 
06:07 В/у, замена 
22:58 Партнерка UDS. Мобильное приложение для бизнеса . Программа лояльности 
17:30 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:27 Хотят купить сайт 
11:36 Private-Zone.Biz – Прорыв в монетизации файлового трафика, до 8р/инсталл, CPM от 4500 
11:33 Private-Zone.Biz – Прорыв в монетизации файлового трафика 
00:20 Подсчитана вероятность подхватить коронавирус на российских курортах