Резкий скачок нагрузки на хостинг
Страницы: Пред. 1 2
Резкий скачок нагрузки на хостинг
У меня в логах тоже оказывается безобразие.Например IP 78.25.123.200 за 5 секунд больше 50 раз обращался к одной странице. 
Интересно, что ip-inspector.com показывает место его нахождения - Большой Кремлевский Дворец.
Много в логах и других IP, ведущих себя аналогично. 
Как с этим бороться? Как банить чтобы боты Яндекса и Гугла не забанить?
Может прописать в robots.txt

[TABLE]

[TR][TD]
User-agent: *
Crawl-delay: 10

[/TD][/TR]

[/TABLE]

а со следующего дня (или с какого?) смотреть логи и тех, кто частит - в бан? и прицепом бота mail.ru о котором говорилось выше.Как вы с этим боретесь?
Не будешь же по одному IP проверять и гадать, уж не Яндекса ли бот забрел? Их же немало...

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Цитата
sharkson пишет:
Роботс бот может проигнорировать. Забаньте его в htaccess. Попробуйте так:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_REFERER} mail.ru [NC]
RewriteRule .* - [F]
</ifModule>

Стало актуально для меня. данный код мэйл проигнорировал, продолжает запрашивать по кругу сайтмап -)
Кстати вот это тоже не помогло 
Код
User-agent: Mail.Ru
Crawl-delay: 15
Disallow: /*.xml 
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.
Цитата
Виктор пишет:
Это реально сборщик mail.ru, здесь стоит вопрос в том нужен ли вам этот поисковик. Если он не нужен и вы не продвигаетесь через него - блокируйте просто все это. Именно он и создает такую нагрузку на сайт.

Так проблема в том, что ему плевать на роботс и htaccess. Помогло только письмо в техподдежку.
можно заблокировать сеть IP, если Crawl-delay не доходит
No pain, no gain
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:42 Можно с помощью накрутки ПФ "почувствовать выход в опу мира и ощутить ответ тех поддержки яшы"? 
18:50 АП выдача 05.08.2020 | После открытия границ, кто-то куда-то? 
18:48 Накрутка поведенческих факторов весна - лето 2020 для продвижения сайта в ТОП Яндекса и Google 
18:11 Помогите с продвижением 
11:10 Lottery Partner в поиске партнеров! Самые высокие ставки! 
20:26 Падение трафика с Гугла более чем в 2 раза! А дальше - больше 
18:26 ClickDealer- свои люди на рынке буржа! 
22:08 Скупаю каналы Дзен 
21:58 Продаю Гадальные скрипты (47шт) для wordpress и dle 
21:32 Profit-smm.ru - раскрутка в Vk/Inst/Yt/Tg. Подписчики от 11.5р, лайки от 2.4р 
19:48 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые. 
19:46 продам Зеброид 
17:35 SocksHub.net - proxy, которые подходят всем 
17:18 Привлеку подписчиков на Ваш канал в Яндекс Дзен, а также дочитку на статьи канала. 
18:52 ruposters.ru: На турецких курортах резко началась новая волна коронавируса 
18:07 Партнёрская рекламная сеть Vadideo Network 
16:47 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
11:59 Edu-affiliates - лучшая партнерка в нише эссе! 
07:46 Обсчитали в магазине 
22:08 Ваш сайт блокируют гос органы? Есть решение! 
20:41 Болезни нет, а вакцина есть