Резкий скачок нагрузки на хостинг
Страницы: 1 2 След.
Резкий скачок нагрузки на хостинг
Здравствуйте. Имеется сайт на wordpress. Установлен плагин WP super cache. Средняя нагрузка на хостинг в день была около 3 СР по данным панели управления.Однако в последнее время наблюдаю резкий скачок нагрузки до 17-20 СР. Включил логи.
Очень часто появляется следующая строка.

Код
217.69.134.62 - - [01/Mar/2015:00:08:22 +0300] "GET /sitemap-pt-post-2014-06.xml.gz HTTP/1.1" 200 2412 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)"
Как я понял это идет запрос на карту сайта в формате .xml.gz. Причем запрос идет с разных IP адресов из схожего диапазона. Например: 217.69.134.62, 217.69.134.65, 217.69.134.134 и т. д.
 Думаю заблокировать эти IP, но есть сомнения: может это бот поисковика mail.ru.
Может кто-нибудь из форумчан посоветовать, что делать.

Бесплатная контекстная реклама

Попробуйте для роботов (или для поставить задержку

Код
User-agent: Mail.Ru
Crawl-delay: 2 # задает таймаут в 2 секунды
Coder, спасибо за ответ.
У меня в файле robots.txt уже имеется строка:


Код
User-agent: *
Crawl-delay: 10 
Может для Mail.ru не работает smile:confused:
Цитата
Может для Mail.ru не работает smile:confused:
Похоже, что только:
User-Agent: Mail.Ru
Disallow: /

Бот Mail.Ru игнорирует директиву Crawl-delay.
Либо увеличить ресурсы...
Цитата
Vight пишет:
Может для Mail.ru
Пожалуйста)

Отдельно для Mail  выше по приоритету для него - из док. по mail. Поэтому - попробуйте.

Если, конечно, это у вас действительно робот с mail...
Это сборщик mail.ru - fetcher.mail.ru. Создает серьезную нагрузку на сайт и, следовательно хостинг. Если нет личного смысла и толку от поисковика mail.ru, то можно просто заблокировать.
Попробую тогда настроить файл роботс. Потестирую денек другой. О результатах отпишусь позже. 


Цитата
Belka пишет:
Либо увеличить ресурсы...
Понятно, что можно ресурсы увеличить. Просто интересно в причинах разобраться. Ведь ничего не делал с сайтом, только статьи добавлял. Сайт давно настроен и никаких изменений в настройках не было. Просто в один день нагрузка увеличилась 6-8 раз и все. Кстати в те дни когда смотрел логи подобных строчек с данных ip вообще не было. (Может 1-2 на весь файл.) А тут прям десятками повылазили.
Vight,  а бот mail.ru в принципе неспешный. Когда-то пришел и ко мне, устроив настоящий армагеддон на сервере. Даже сейчас, на VDS, нагрузка серьезно возрастает, когда начинается индексация.
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>
может это ДДОС?
Крауд-маркетинг от 10-15 руб за вечную трафиковую ссылку на форумах. Постинг в соц.сети и др.

Качественный хостинг Моментальная поддержка. Бесплатный ssl-сертификат
sharkson, спасибо за еще один способ.
Обязательно попробую после небольшого теста с роботс.



Цитата
Belka пишет:
а бот mail.ru в принципе неспешный
Действительно. Сайт небольшой - около 250 страниц. Но бот уже несколько дней (если не неделю) спокойно себе грузит и все...
flash, не знаю. В техническом плане я нуб. Поэтому буду пробовать пока варианты, которые мне под силу. Благо пока до предела нагрузки далеко.
sharkson, спасибо.
Ваш способ помог. Нагрузка уменьшилась до прежнего уровня.
Спасибо всем, кто помогал своими советами. 
У меня на одном сервере тестовом уже три дня подряд нагрузка 100%. Пока небыло времени разбираться, но думаю что тоже какой-то бот шалит, если нагрузка не упадет, придется копаться в логах. Причем страницы нормально отдаются, как всегда, а вот зайти на него по RDP не получается, вернее получается но работать невозможно.
Создание и продвижение сайтов в Молдове webmaster.md Разработка мобильных приложений...
Цитата
webmaster md пишет:
придется копаться в логах
Обязательно. Некоторое время назад не дос, но уж очень агрессивно (скачивали сайт, может быть) - 2 американских ip, превышение жесткого лимита на шареде в 2,7, примерно, раза - пока не забанил, не успокоились.

Второй вариант - скрипты - задержка с выполнением в php (sleep) вызывает повышенный фон нагрузки от номинала (обычного среднего состояния), примерно в два раза (скрипт по крону в одну минуту).
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:21 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
21:12 TeaserNet - тизерная сеть нового поколения! Высокие доходы, стабильные выплаты 
20:45 АПдейт Яндекс | Обновление поисковой базы 22.10.2020 
20:31 Вопрос по плагину Yoast Seo или ламер постигает азы сайтостроения 
19:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
18:23 Поймет ли яндекс что страницы не изменились при смене движка? 
16:29 Лендинг и СЕО 
00:56 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
23:21 Profit-smm.ru - раскрутка в Vk/Inst/Yt/Tg. Подписчики от 11.5р, лайки от 2.4р 
16:51 Размещу ссылки/статьи на ваш сайт 
14:51 24litecoin.co.ua - Быстрый обмен электронных валют 
14:09 Накручу повиденческие на Вашем сайте! 
13:33 Базы ключевых слов с Adwords и подсказок гугла 
11:50 BestChange – обменивать электронную валюту можно быстро и выгодно 
04:54 Будете вакцинироваться? | Названы сроки начала массовой вакцинации россиян 
20:32 Магазин статей, текстов, видео, фото и др. 
20:27 Тинькофф Банк и 10% по остатку на счёте, которая больше чем в два раза выше ключевой ставки ЦБ 
18:25 Самые любимые 3 футболиста 
17:38 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
17:14 Leadgid — международная финансовая партнерская CPA сеть 
16:27 Ваша любимая компьютерная игра?