Как заблочить роботов, которые кладут сайт
Страницы: 1 2 3 4 След.
Как заблочить роботов, которые кладут сайт
последнее время очень сильно атакуют боты какие то
Рисунок

ложат сайт, что появляется 508 ошибка
как решить проблему?

Бесплатная контекстная реклама

Варианты есть, зависит от конкретной ситуации:

- можно блочить ботов поименно
- можно блочить слишком часто приходящих за короткое время
- можно блочить по стране
- вариант по времени (ночью, например, накидываются)


можно ставить заслон ввиде доп. капчи, например, для зачастивших или подозрительных - опять же - по странам, и прочему.
Цитата
Zhezkazganetcs пишет:
как решить проблему?


Начать с анализа логов
Zhezkazganetcs,  заблокирую по юзер-агенту или по ip с помощью htaccess

Пример блокировки по юзер-агенту


Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^svetabot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist
 

^svetabot - замени на название своего бота.
Изменено: sharkson - 12 Октября 2019 03:25
Coder, как посмотреть в метрике что за боты?
Отфильтрованы по статистическим правилам 7 558
вот они это кто? как их определить чтобы блочить?
просто не хочется всех подряд блочить

Цитата
sharkson пишет:
заблокирую по юзер-агенту или по ip с помощью htaccess
Пример блокировки по юзер-агенту

опять же это все хорошо и все замечательно
но кто этот юзер-агент среди Отфильтрованы по статистическим правилам
или как в метрике посмотреть что за боты, потому что сам не нашел а в гугле тоже нет инфы
Цитата
Zhezkazganetcs пишет:
Coder, как посмотреть в метрике что за боты?
- по логам
- настроить метрику

1. _https://tmp.coderhs.com/1/robot-ya

2. _https://tmp.coderhs.com/1/robot-ya2

Ps - я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
Изменено: Coder - 12 Октября 2019 13:21
Цитата
Coder пишет:
я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
а это где смотреть?
метрику то я полазил и там есть у меня
скрин за год
Рисунок

я не могу понять кто это Отфильтрованы по статистическим правилам и как их заблочить
они создают 4-6 запросов в секунду
Цитата
Zhezkazganetcs пишет:
а это где смотреть?
Это на сервере Вашем смотреть, в логах. Если этого нет (например, vds без такой фичи) - то нужно ставить скрипт логирования.
Пробросить ns записи домена через cdn cloudflare, что автоматом банит ботов
по отчетам в хостинге лазил и вот что нашел
Код
AhrefsBot   2,498+28   213.56 МБ   11 Окт 2019 - 14:44
bingbot   1,483+69   126.83 МБ   11 Окт 2019 - 15:09
Unknown robot identified by bot\*   629+106   49.00 МБ   11 Окт 2019 - 14:39
Unknown robot (identified by hit on robots.txt)   0+659   42.99 КБ   11 Окт 2019 - 13:02
proximic   357+56   21.64 МБ   11 Окт 2019 - 14:52
crawl   319+67   19.58 МБ   11 Окт 2019 - 14:49
SeznamBot   92+125   7.82 МБ   11 Окт 2019 - 13:34
DotBot   41+143   3.90 МБ   11 Окт 2019 - 13:00
MJ12bot   100+59   8.37 МБ   11 Окт 2019 - 12:23
fetcher   81   1.30 МБ   11 Окт 2019 - 14:15
Java ( catchall )   68   0   11 Окт 2019 - 08:53
empty user agent string   67+1   6.51 МБ   11 Окт 2019 - 10:22
nbot   55+2   5.04 МБ   08 Окт 2019 - 11:08
SemrushBot   18+27   1.62 МБ   11 Окт 2019 - 02:23

но больше всего яндексбот шарится
Код
YandexBot   33,909+260   2.74 ГБ   11 Окт 2019 - 15:10
sharkson, прописал
Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist

сайт вообще не работает
в роботсе прописал
Код
User-agent: *
Disallow: /

User-agent: Yandex
Disallow: 
User-agent: Mail.Ru
Disallow: 
User-agent: StackRambler
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: Aport
Disallow: 
User-agent: msnbot
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-slurp
Disallow: 


но уже Отфильтрованы по статистическим правилам 2 148
Цитата
Zhezkazganetcs пишет:
sharkson, прописал
Значит где-то шибку допускаете. Боты AhrefsBot, Бинг, Семруш и тем более боты Яндекса не могут создавать нагрузку на сервер, если у вас настроено все правильно. И тем более не могут положить сайт.

Увеличьте интервал Crawl delay

В Вебмастере задайте для ботов Яндекса свои настройки в "Скорости обхода".

Цитата
User-agent: *
Disallow: /

Учтите, что эта команда запрещает любым ботам сканировать весь сайт.
Изменено: sharkson - 12 Октября 2019 15:54
Цитата
sharkson пишет:
Значит где-то шибку допускаете. Боты

ну я ваш код вставил, просто svetabot заменил на AhrefsBot

а т.к. Отфильтрованы по статистическим правилам не изменились, то с роботса убрал все то
Цитата
sharkson пишет:
Увеличьте интервал Краул делэй

это как?
Цитата
Zhezkazganetcs пишет:
это как?
в /robots.txt

После строки

Код
Host:
 

C новой строки пишете

Код
Crawl-delay: 5
 
задает таймаут в 5 секунд для того бота который выше упомянут в строке

User-agent:
Изменено: sharkson - 12 Октября 2019 16:08
Страницы: 1 2 3 4 След.
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:00 Подскажите нужно ли открытие каталога на сайте по наведению или лучше сделать по клику? 
12:10 Настроить поставщиков в программе E-Trade PriceList Importer 
02:52 Родительская страница получет вес от дочерней? 
22:18 Выдача 26.02.2021 
21:50 26.02.2021 ап ИКС 
11:29 Нужна помощь: Счетчик текстовых ссылок перестал работать на Yoast SEO 
00:20 Длина не имеет значения 
09:05 Информационный портал по цене вечной лицензии DLE 
08:32 Программа склика рекламы в поисковых системах (ПФ, CTR, поисковые подсказки - Begemotik.pro 
22:28 Раскрутка Instagram, YouTube, TikTok, Twitter, Вконтакте, Telegram, Twitch, Likee - smmservis.ru 
20:10 Ищем работу 
18:26 Обмен/Вывод криптовалют и электронных денег в разных странах 
16:35 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
13:05 Флудер телефонов 
15:42 Подскажите сервис. Выполнение заданий за деньги 
13:52 Проверяем "Анализ сайта" 
21:30 Назван способ накопить на ежемесячную пенсию в 100 тыс. рублей 
15:44 Как получать криптовалюту бесплатно 
23:44 СМИ: главы Twitter, Facebook и Google выступят на слушаниях в Конгрессе 
18:06 Кто работает (работал) с leadia.org? 
16:17 Монетизация юридического трафика. Какие юридические партнёрки нормально платят сейчас?