Как заблочить роботов, которые кладут сайт
Страницы: 1 2 3 След.
Как заблочить роботов, которые кладут сайт
последнее время очень сильно атакуют боты какие то
Рисунок

ложат сайт, что появляется 508 ошибка
как решить проблему?

Бесплатная контекстная реклама

Варианты есть, зависит от конкретной ситуации:

- можно блочить ботов поименно
- можно блочить слишком часто приходящих за короткое время
- можно блочить по стране
- вариант по времени (ночью, например, накидываются)


можно ставить заслон ввиде доп. капчи, например, для зачастивших или подозрительных - опять же - по странам, и прочему.
Цитата
Zhezkazganetcs пишет:
как решить проблему?


Начать с анализа логов
Zhezkazganetcs,  заблокирую по юзер-агенту или по ip с помощью htaccess

Пример блокировки по юзер-агенту


Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^svetabot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist
 

^svetabot - замени на название своего бота.
Изменено: sharkson - 12 Октября 2019 03:25
Coder, как посмотреть в метрике что за боты?
Отфильтрованы по статистическим правилам 7 558
вот они это кто? как их определить чтобы блочить?
просто не хочется всех подряд блочить

Цитата
sharkson пишет:
заблокирую по юзер-агенту или по ip с помощью htaccess
Пример блокировки по юзер-агенту

опять же это все хорошо и все замечательно
но кто этот юзер-агент среди Отфильтрованы по статистическим правилам
или как в метрике посмотреть что за боты, потому что сам не нашел а в гугле тоже нет инфы
Цитата
Zhezkazganetcs пишет:
Coder, как посмотреть в метрике что за боты?
- по логам
- настроить метрику

1. _https://tmp.coderhs.com/1/robot-ya

2. _https://tmp.coderhs.com/1/robot-ya2

Ps - я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
Изменено: Coder - 12 Октября 2019 13:21
Цитата
Coder пишет:
я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
а это где смотреть?
метрику то я полазил и там есть у меня
скрин за год
Рисунок

я не могу понять кто это Отфильтрованы по статистическим правилам и как их заблочить
они создают 4-6 запросов в секунду
Цитата
Zhezkazganetcs пишет:
а это где смотреть?
Это на сервере Вашем смотреть, в логах. Если этого нет (например, vds без такой фичи) - то нужно ставить скрипт логирования.
Пробросить ns записи домена через cdn cloudflare, что автоматом банит ботов
по отчетам в хостинге лазил и вот что нашел
Код
AhrefsBot   2,498+28   213.56 МБ   11 Окт 2019 - 14:44
bingbot   1,483+69   126.83 МБ   11 Окт 2019 - 15:09
Unknown robot identified by bot\*   629+106   49.00 МБ   11 Окт 2019 - 14:39
Unknown robot (identified by hit on robots.txt)   0+659   42.99 КБ   11 Окт 2019 - 13:02
proximic   357+56   21.64 МБ   11 Окт 2019 - 14:52
crawl   319+67   19.58 МБ   11 Окт 2019 - 14:49
SeznamBot   92+125   7.82 МБ   11 Окт 2019 - 13:34
DotBot   41+143   3.90 МБ   11 Окт 2019 - 13:00
MJ12bot   100+59   8.37 МБ   11 Окт 2019 - 12:23
fetcher   81   1.30 МБ   11 Окт 2019 - 14:15
Java ( catchall )   68   0   11 Окт 2019 - 08:53
empty user agent string   67+1   6.51 МБ   11 Окт 2019 - 10:22
nbot   55+2   5.04 МБ   08 Окт 2019 - 11:08
SemrushBot   18+27   1.62 МБ   11 Окт 2019 - 02:23

но больше всего яндексбот шарится
Код
YandexBot   33,909+260   2.74 ГБ   11 Окт 2019 - 15:10
sharkson, прописал
Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist

сайт вообще не работает
в роботсе прописал
Код
User-agent: *
Disallow: /

User-agent: Yandex
Disallow: 
User-agent: Mail.Ru
Disallow: 
User-agent: StackRambler
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: Aport
Disallow: 
User-agent: msnbot
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-slurp
Disallow: 


но уже Отфильтрованы по статистическим правилам 2 148
Цитата
Zhezkazganetcs пишет:
sharkson, прописал
Значит где-то шибку допускаете. Боты AhrefsBot, Бинг, Семруш и тем более боты Яндекса не могут создавать нагрузку на сервер, если у вас настроено все правильно. И тем более не могут положить сайт.

Увеличьте интервал Crawl delay

В Вебмастере задайте для ботов Яндекса свои настройки в "Скорости обхода".

Цитата
User-agent: *
Disallow: /

Учтите, что эта команда запрещает любым ботам сканировать весь сайт.
Изменено: sharkson - 12 Октября 2019 15:54
Цитата
sharkson пишет:
Значит где-то шибку допускаете. Боты

ну я ваш код вставил, просто svetabot заменил на AhrefsBot

а т.к. Отфильтрованы по статистическим правилам не изменились, то с роботса убрал все то
Цитата
sharkson пишет:
Увеличьте интервал Краул делэй

это как?
Цитата
Zhezkazganetcs пишет:
это как?
в /robots.txt

После строки

Код
Host:
 

C новой строки пишете

Код
Crawl-delay: 5
 
задает таймаут в 5 секунд для того бота который выше упомянут в строке

User-agent:
Изменено: sharkson - 12 Октября 2019 16:08
Страницы: 1 2 3 След.
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:19 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:57 Что лучше выбрать для учета позиций 
14:54 Работает ли ссылочное продвижение 2019 – 2020? 
13:40 Сайт прыгает по выдаче +-100 
10:02 Kokos.click - народная тизерная сеть! 
06:12 Доступ к сайту 
20:59 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
12:39 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
11:41 Качественный прогон Хрумером, Zennoposterом всего 10 WMZ, Большой опыт работы. Статьи, комментарии, профиля, гостевые. 
11:25 Продвину сайт качественными ссылками. Рост посещаемости, позиций и ИКС. Крауд ссылки недорого + скидки. 
10:32 Нужна помощь увязки информационного киоска с пост терминалом 
06:07 Куплю аккаунт на ярмарке мастеров не менее 2-х лет 
03:45 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
03:18 OK Combine - программа для раскрутки и продвижения в Одноклассниках 
13:45 Где покупаете подарки на Новый год? 
10:58 Нужен софт (Спамер) 
06:24 Оцените пожалуйста сайт о ЗОЖе 
01:00 Заработать 50 рублей за один пост 
19:35 О распределении работы... 
14:42 Accvk.ru - магазин самых надёжных аккаунтов вконтакте и других социальных сетей [без владельцев] 
21:15 Продвижение сайта через социальные сети