Как заблочить роботов, которые кладут сайт
Страницы: 1 2 3 4 След.
Как заблочить роботов, которые кладут сайт
последнее время очень сильно атакуют боты какие то
Рисунок

ложат сайт, что появляется 508 ошибка
как решить проблему?

Бесплатная контекстная реклама

Варианты есть, зависит от конкретной ситуации:

- можно блочить ботов поименно
- можно блочить слишком часто приходящих за короткое время
- можно блочить по стране
- вариант по времени (ночью, например, накидываются)


можно ставить заслон ввиде доп. капчи, например, для зачастивших или подозрительных - опять же - по странам, и прочему.
Цитата
Zhezkazganetcs пишет:
как решить проблему?


Начать с анализа логов
Zhezkazganetcs,  заблокирую по юзер-агенту или по ip с помощью htaccess

Пример блокировки по юзер-агенту


Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^svetabot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist
 

^svetabot - замени на название своего бота.
Изменено: sharkson - 12 Октября 2019 03:25
Coder, как посмотреть в метрике что за боты?
Отфильтрованы по статистическим правилам 7 558
вот они это кто? как их определить чтобы блочить?
просто не хочется всех подряд блочить

Цитата
sharkson пишет:
заблокирую по юзер-агенту или по ip с помощью htaccess
Пример блокировки по юзер-агенту

опять же это все хорошо и все замечательно
но кто этот юзер-агент среди Отфильтрованы по статистическим правилам
или как в метрике посмотреть что за боты, потому что сам не нашел а в гугле тоже нет инфы
Цитата
Zhezkazganetcs пишет:
Coder, как посмотреть в метрике что за боты?
- по логам
- настроить метрику

1. _https://tmp.coderhs.com/1/robot-ya

2. _https://tmp.coderhs.com/1/robot-ya2

Ps - я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
Изменено: Coder - 12 Октября 2019 13:21
Цитата
Coder пишет:
я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
а это где смотреть?
метрику то я полазил и там есть у меня
скрин за год
Рисунок

я не могу понять кто это Отфильтрованы по статистическим правилам и как их заблочить
они создают 4-6 запросов в секунду
Цитата
Zhezkazganetcs пишет:
а это где смотреть?
Это на сервере Вашем смотреть, в логах. Если этого нет (например, vds без такой фичи) - то нужно ставить скрипт логирования.
Пробросить ns записи домена через cdn cloudflare, что автоматом банит ботов
по отчетам в хостинге лазил и вот что нашел
Код
AhrefsBot   2,498+28   213.56 МБ   11 Окт 2019 - 14:44
bingbot   1,483+69   126.83 МБ   11 Окт 2019 - 15:09
Unknown robot identified by bot\*   629+106   49.00 МБ   11 Окт 2019 - 14:39
Unknown robot (identified by hit on robots.txt)   0+659   42.99 КБ   11 Окт 2019 - 13:02
proximic   357+56   21.64 МБ   11 Окт 2019 - 14:52
crawl   319+67   19.58 МБ   11 Окт 2019 - 14:49
SeznamBot   92+125   7.82 МБ   11 Окт 2019 - 13:34
DotBot   41+143   3.90 МБ   11 Окт 2019 - 13:00
MJ12bot   100+59   8.37 МБ   11 Окт 2019 - 12:23
fetcher   81   1.30 МБ   11 Окт 2019 - 14:15
Java ( catchall )   68   0   11 Окт 2019 - 08:53
empty user agent string   67+1   6.51 МБ   11 Окт 2019 - 10:22
nbot   55+2   5.04 МБ   08 Окт 2019 - 11:08
SemrushBot   18+27   1.62 МБ   11 Окт 2019 - 02:23

но больше всего яндексбот шарится
Код
YandexBot   33,909+260   2.74 ГБ   11 Окт 2019 - 15:10
sharkson, прописал
Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist

сайт вообще не работает
в роботсе прописал
Код
User-agent: *
Disallow: /

User-agent: Yandex
Disallow: 
User-agent: Mail.Ru
Disallow: 
User-agent: StackRambler
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: Aport
Disallow: 
User-agent: msnbot
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-slurp
Disallow: 


но уже Отфильтрованы по статистическим правилам 2 148
Цитата
Zhezkazganetcs пишет:
sharkson, прописал
Значит где-то шибку допускаете. Боты AhrefsBot, Бинг, Семруш и тем более боты Яндекса не могут создавать нагрузку на сервер, если у вас настроено все правильно. И тем более не могут положить сайт.

Увеличьте интервал Crawl delay

В Вебмастере задайте для ботов Яндекса свои настройки в "Скорости обхода".

Цитата
User-agent: *
Disallow: /

Учтите, что эта команда запрещает любым ботам сканировать весь сайт.
Изменено: sharkson - 12 Октября 2019 15:54
Цитата
sharkson пишет:
Значит где-то шибку допускаете. Боты

ну я ваш код вставил, просто svetabot заменил на AhrefsBot

а т.к. Отфильтрованы по статистическим правилам не изменились, то с роботса убрал все то
Цитата
sharkson пишет:
Увеличьте интервал Краул делэй

это как?
Цитата
Zhezkazganetcs пишет:
это как?
в /robots.txt

После строки

Код
Host:
 

C новой строки пишете

Код
Crawl-delay: 5
 
задает таймаут в 5 секунд для того бота который выше упомянут в строке

User-agent:
Изменено: sharkson - 12 Октября 2019 16:08
Страницы: 1 2 3 4 След.
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:33 November 2021 Core Update 18 ноября 
21:57 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
20:14 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
19:57 Яндекс выдача 5 декабря 
17:08 Marketcall - международная партнерская сеть с оплатой Pay Per Call и LeadGen 
16:24 Как ускорить индексацию страниц, которые создаются фильтром? 
09:02 Необходимо загнать страницы в ИНДЕКС ? 
23:13 Продажа быстрых SSH туннелей. Любые страны с гарантией! 
23:10 Продвижение сайтов: прогоны (крауд ссылки, цитирование и брендинг). Опыт с 2009 года и много отзывов о работе. 
20:28 Мобильные скоростные прокси 4G 
18:52 C1k: обмен Advcash , Perfect Money , skrill , NETELLER, крипта, приват24, тенге 
17:11 Coindrop.trade - обменник электронных валют 
16:31 Обмен/Вывод криптовалют и электронных денег в разных странах 
16:09 One Exchange - Сервис обмена электронных валют и токенов 
21:33 Россияне рассказали, где собираются встретить Новый год 
18:07 Двойные стандарты 
09:04 37 противникам прививок от COVID грозят уголовные дела 
08:50 Мой первый раз 2 раза 
11:56 Коронавирус, Путин, Украина, США, инопланетяне, церковники. Сделал важные выводы для себя 
11:03 Вздремни со мной за деньги 
11:17 С юмором по жизни!