Как заблочить роботов, которые кладут сайт

Zhezkazganetcs

Сообщений: 2119 Регистрация: Апр 2013

11 Октября 2019 14:51

последнее время очень сильно атакуют боты какие то
Рисунок

ложат сайт, что появляется 508 ошибка
как решить проблему?

лучший постинг в соц.сети | автозапчасти | ЗАРАБОТОК больше, чем с РСЯ!

Coder

Сообщений: 10380 Регистрация: Мар 2013

11 Октября 2019 18:24

Варианты есть, зависит от конкретной ситуации:

- можно блочить ботов поименно
- можно блочить слишком часто приходящих за короткое время
- можно блочить по стране
- вариант по времени (ночью, например, накидываются)

можно ставить заслон ввиде доп. капчи, например, для зачастивших или подозрительных - опять же - по странам, и прочему.

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

MrLexKo

Сообщений: 681 Регистрация: Май 2011

11 Октября 2019 22:44

Цитата
Zhezkazganetcs пишет: как решить проблему?

Начать с анализа логов

*Хостинг и домены. Скидка по промокоду - 34A0-15CA-735C-335A

sharkson

Сообщений: 5425 Регистрация: Янв 2014

12 Октября 2019 03:23

Zhezkazganetcs, заблокирую по юзер-агенту или по ip с помощью htaccess

Пример блокировки по юзер-агенту

Код
# User agent baning. Start blocklist SetEnvIfNoCase User-Agent "^svetabot" bad_bot <limit get="" post="" head=""> Order Allow,Deny Allow from all Deny from env=bad_bot </limit> # End blocklist

^svetabot - замени на название своего бота.

Изменено: sharkson - 12 Октября 2019 03:25

НАДЕЖНЫЙ И НЕДОРОГОЙ ХОСТИНГ ТУТ
НЕДОРОГОЙ ХОСТИНГ
ПРОДАМ БЛОГ ЖЖ
СОЗДАНИЕ И НАСТРОЙКА MediaWiki и phpbb3

Zhezkazganetcs

Сообщений: 2119 Регистрация: Апр 2013

12 Октября 2019 12:01

Coder, как посмотреть в метрике что за боты?
Отфильтрованы по статистическим правилам 7 558
вот они это кто? как их определить чтобы блочить?
просто не хочется всех подряд блочить

Цитата
sharkson пишет: заблокирую по юзер-агенту или по ip с помощью htaccess Пример блокировки по юзер-агенту

опять же это все хорошо и все замечательно
но кто этот юзер-агент среди Отфильтрованы по статистическим правилам
или как в метрике посмотреть что за боты, потому что сам не нашел а в гугле тоже нет инфы

Coder

Сообщений: 10380 Регистрация: Мар 2013

12 Октября 2019 13:20

Цитата
Zhezkazganetcs пишет: Coder, как посмотреть в метрике что за боты?

- по логам
- настроить метрику

1. _https://tmp.coderhs.com/1/robot-ya

2. _https://tmp.coderhs.com/1/robot-ya2

Ps - я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.

Изменено: Coder - 12 Октября 2019 13:21

Zhezkazganetcs

Сообщений: 2119 Регистрация: Апр 2013

12 Октября 2019 14:09

Цитата
Coder пишет: я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.

а это где смотреть?
метрику то я полазил и там есть у меня
скрин за год
Рисунок

я не могу понять кто это Отфильтрованы по статистическим правилам и как их заблочить
они создают 4-6 запросов в секунду

Coder

Сообщений: 10380 Регистрация: Мар 2013

12 Октября 2019 14:42

Цитата
Zhezkazganetcs пишет: а это где смотреть?

Это на сервере Вашем смотреть, в логах. Если этого нет (например, vds без такой фичи) - то нужно ставить скрипт логирования.

Демьян Великовечный

Сообщений: 6 Регистрация: Май 2018

12 Октября 2019 14:44

Пробросить ns записи домена через cdn cloudflare, что автоматом банит ботов

Zhezkazganetcs

Сообщений: 2119 Регистрация: Апр 2013

#10

12 Октября 2019 14:54

по отчетам в хостинге лазил и вот что нашел

Код

AhrefsBot   2,498+28   213.56 МБ   11 Окт 2019 - 14:44
bingbot   1,483+69   126.83 МБ   11 Окт 2019 - 15:09
Unknown robot identified by bot\*   629+106   49.00 МБ   11 Окт 2019 - 14:39
Unknown robot (identified by hit on robots.txt)   0+659   42.99 КБ   11 Окт 2019 - 13:02
proximic   357+56   21.64 МБ   11 Окт 2019 - 14:52
crawl   319+67   19.58 МБ   11 Окт 2019 - 14:49
SeznamBot   92+125   7.82 МБ   11 Окт 2019 - 13:34
DotBot   41+143   3.90 МБ   11 Окт 2019 - 13:00
MJ12bot   100+59   8.37 МБ   11 Окт 2019 - 12:23
fetcher   81   1.30 МБ   11 Окт 2019 - 14:15
Java ( catchall )   68   0   11 Окт 2019 - 08:53
empty user agent string   67+1   6.51 МБ   11 Окт 2019 - 10:22
nbot   55+2   5.04 МБ   08 Окт 2019 - 11:08
SemrushBot   18+27   1.62 МБ   11 Окт 2019 - 02:23

но больше всего яндексбот шарится

Код
YandexBot 33,909+260 2.74 ГБ 11 Окт 2019 - 15:10

Zhezkazganetcs

Сообщений: 2119 Регистрация: Апр 2013

#11

12 Октября 2019 14:58

sharkson, прописал

Код
# User agent baning. Start blocklist SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot <limit get="" post="" head=""> Order Allow,Deny Allow from all Deny from env=bad_bot </limit> # End blocklist

сайт вообще не работает

Zhezkazganetcs

Сообщений: 2119 Регистрация: Апр 2013

#12

12 Октября 2019 15:02

в роботсе прописал

Код

User-agent: *
Disallow: /

User-agent: Yandex
Disallow: 
User-agent: Mail.Ru
Disallow: 
User-agent: StackRambler
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: Aport
Disallow: 
User-agent: msnbot
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-slurp
Disallow:

но уже Отфильтрованы по статистическим правилам 2 148

sharkson

Сообщений: 5425 Регистрация: Янв 2014

#13

12 Октября 2019 15:50

Цитата
Zhezkazganetcs пишет: sharkson, прописал

Значит где-то шибку допускаете. Боты AhrefsBot, Бинг, Семруш и тем более боты Яндекса не могут создавать нагрузку на сервер, если у вас настроено все правильно. И тем более не могут положить сайт.

Увеличьте интервал Crawl delay

В Вебмастере задайте для ботов Яндекса свои настройки в "Скорости обхода".

Цитата
User-agent: * Disallow: /

Учтите, что эта команда запрещает любым ботам сканировать весь сайт.

Изменено: sharkson - 12 Октября 2019 15:54

Zhezkazganetcs

Сообщений: 2119 Регистрация: Апр 2013

#14

12 Октября 2019 15:55

Цитата
sharkson пишет: Значит где-то шибку допускаете. Боты

ну я ваш код вставил, просто svetabot заменил на AhrefsBot

а т.к. Отфильтрованы по статистическим правилам не изменились, то с роботса убрал все то

Цитата
sharkson пишет: Увеличьте интервал Краул делэй

это как?

sharkson

Сообщений: 5425 Регистрация: Янв 2014

#15

12 Октября 2019 16:06

Цитата
Zhezkazganetcs пишет: это как?

в /robots.txt

После строки

Код
Host:

C новой строки пишете

Код
Crawl-delay: 5

задает таймаут в 5 секунд для того бота который выше упомянут в строке

User-agent:

Изменено: sharkson - 12 Октября 2019 16:08

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
23:20 Ginads.com - качественно новый тренд на рынке рекламы! 23:17 Изменение в продвижении под Яндекс 20:37 Gambling Craft - гемблинг по белому 19:17 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 15:10 Adtrafico - Правильная партнёрская сеть под бурж трафик 18:59 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 08:01 Продвижение заграницей	04:16 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:23 Ручное размещение вечных статей и ссылок на хороших площадках. Опыт 15 лет! 22:13 Hermet 22:01 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 21:55 Платим за реги на форумах и досках, дорого. 11:14 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 10:33 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	23:09 Осторожно! Криптовалюта 23:07 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 22:24 Не храните данные на жёстких дисках 22:02 Пятница 13-ое: VK принял радикальное решение и закрыл доступ к порно контенту 22:01 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 20:32 Точные прогнозы на футбол 22:14 Добро пожаловать в цифровой мир...