Резкий скачок нагрузки на хостинг
Страницы: 1 2 След.
Резкий скачок нагрузки на хостинг
Здравствуйте. Имеется сайт на wordpress. Установлен плагин WP super cache. Средняя нагрузка на хостинг в день была около 3 СР по данным панели управления.Однако в последнее время наблюдаю резкий скачок нагрузки до 17-20 СР. Включил логи.
Очень часто появляется следующая строка.

Код
217.69.134.62 - - [01/Mar/2015:00:08:22 +0300] "GET /sitemap-pt-post-2014-06.xml.gz HTTP/1.1" 200 2412 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)"
Как я понял это идет запрос на карту сайта в формате .xml.gz. Причем запрос идет с разных IP адресов из схожего диапазона. Например: 217.69.134.62, 217.69.134.65, 217.69.134.134 и т. д.
 Думаю заблокировать эти IP, но есть сомнения: может это бот поисковика mail.ru.
Может кто-нибудь из форумчан посоветовать, что делать.

Бесплатная контекстная реклама

Попробуйте для роботов (или для поставить задержку

Код
User-agent: Mail.Ru
Crawl-delay: 2 # задает таймаут в 2 секунды
Coder, спасибо за ответ.
У меня в файле robots.txt уже имеется строка:


Код
User-agent: *
Crawl-delay: 10 
Может для Mail.ru не работает smile:confused:
Цитата
Может для Mail.ru не работает smile:confused:
Похоже, что только:
User-Agent: Mail.Ru
Disallow: /

Бот Mail.Ru игнорирует директиву Crawl-delay.
Либо увеличить ресурсы...
Цитата
Vight пишет:
Может для Mail.ru
Пожалуйста)

Отдельно для Mail  выше по приоритету для него - из док. по mail. Поэтому - попробуйте.

Если, конечно, это у вас действительно робот с mail...
Это сборщик mail.ru - fetcher.mail.ru. Создает серьезную нагрузку на сайт и, следовательно хостинг. Если нет личного смысла и толку от поисковика mail.ru, то можно просто заблокировать.
Попробую тогда настроить файл роботс. Потестирую денек другой. О результатах отпишусь позже. 


Цитата
Belka пишет:
Либо увеличить ресурсы...
Понятно, что можно ресурсы увеличить. Просто интересно в причинах разобраться. Ведь ничего не делал с сайтом, только статьи добавлял. Сайт давно настроен и никаких изменений в настройках не было. Просто в один день нагрузка увеличилась 6-8 раз и все. Кстати в те дни когда смотрел логи подобных строчек с данных ip вообще не было. (Может 1-2 на весь файл.) А тут прям десятками повылазили.
Vight,  а бот mail.ru в принципе неспешный. Когда-то пришел и ко мне, устроив настоящий армагеддон на сервере. Даже сейчас, на VDS, нагрузка серьезно возрастает, когда начинается индексация.
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>
может это ДДОС?
Крауд-маркетинг от 10-15 руб за вечную трафиковую ссылку на форумах. Постинг в соц.сети и др.

Качественный хостинг Моментальная поддержка. Бесплатный ssl-сертификат
sharkson, спасибо за еще один способ.
Обязательно попробую после небольшого теста с роботс.



Цитата
Belka пишет:
а бот mail.ru в принципе неспешный
Действительно. Сайт небольшой - около 250 страниц. Но бот уже несколько дней (если не неделю) спокойно себе грузит и все...
flash, не знаю. В техническом плане я нуб. Поэтому буду пробовать пока варианты, которые мне под силу. Благо пока до предела нагрузки далеко.
sharkson, спасибо.
Ваш способ помог. Нагрузка уменьшилась до прежнего уровня.
Спасибо всем, кто помогал своими советами. 
У меня на одном сервере тестовом уже три дня подряд нагрузка 100%. Пока небыло времени разбираться, но думаю что тоже какой-то бот шалит, если нагрузка не упадет, придется копаться в логах. Причем страницы нормально отдаются, как всегда, а вот зайти на него по RDP не получается, вернее получается но работать невозможно.
Создание и продвижение сайтов в Молдове webmaster.md Разработка мобильных приложений...
Цитата
webmaster md пишет:
придется копаться в логах
Обязательно. Некоторое время назад не дос, но уж очень агрессивно (скачивали сайт, может быть) - 2 американских ip, превышение жесткого лимита на шареде в 2,7, примерно, раза - пока не забанил, не успокоились.

Второй вариант - скрипты - задержка с выполнением в php (sleep) вызывает повышенный фон нагрузки от номинала (обычного среднего состояния), примерно в два раза (скрипт по крону в одну минуту).
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 2, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:42 Можно с помощью накрутки ПФ "почувствовать выход в опу мира и ощутить ответ тех поддержки яшы"? 
18:50 АП выдача 05.08.2020 | После открытия границ, кто-то куда-то? 
18:48 Накрутка поведенческих факторов весна - лето 2020 для продвижения сайта в ТОП Яндекса и Google 
18:11 Помогите с продвижением 
11:10 Lottery Partner в поиске партнеров! Самые высокие ставки! 
20:26 Падение трафика с Гугла более чем в 2 раза! А дальше - больше 
18:26 ClickDealer- свои люди на рынке буржа! 
22:08 Скупаю каналы Дзен 
21:58 Продаю Гадальные скрипты (47шт) для wordpress и dle 
21:32 Profit-smm.ru - раскрутка в Vk/Inst/Yt/Tg. Подписчики от 11.5р, лайки от 2.4р 
19:48 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые. 
19:46 продам Зеброид 
17:35 SocksHub.net - proxy, которые подходят всем 
17:18 Привлеку подписчиков на Ваш канал в Яндекс Дзен, а также дочитку на статьи канала. 
18:52 ruposters.ru: На турецких курортах резко началась новая волна коронавируса 
18:07 Партнёрская рекламная сеть Vadideo Network 
16:47 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
11:59 Edu-affiliates - лучшая партнерка в нише эссе! 
07:46 Обсчитали в магазине 
22:08 Ваш сайт блокируют гос органы? Есть решение! 
20:41 Болезни нет, а вакцина есть