Как заблочить роботов, которые кладут сайт
Страницы: 1 2 3 4 След.
Как заблочить роботов, которые кладут сайт
последнее время очень сильно атакуют боты какие то
Рисунок

ложат сайт, что появляется 508 ошибка
как решить проблему?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Варианты есть, зависит от конкретной ситуации:

- можно блочить ботов поименно
- можно блочить слишком часто приходящих за короткое время
- можно блочить по стране
- вариант по времени (ночью, например, накидываются)


можно ставить заслон ввиде доп. капчи, например, для зачастивших или подозрительных - опять же - по странам, и прочему.
Цитата
Zhezkazganetcs пишет:
как решить проблему?


Начать с анализа логов
Zhezkazganetcs,  заблокирую по юзер-агенту или по ip с помощью htaccess

Пример блокировки по юзер-агенту


Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^svetabot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist
 

^svetabot - замени на название своего бота.
Изменено: sharkson - 12 Октября 2019 03:25
Coder, как посмотреть в метрике что за боты?
Отфильтрованы по статистическим правилам 7 558
вот они это кто? как их определить чтобы блочить?
просто не хочется всех подряд блочить

Цитата
sharkson пишет:
заблокирую по юзер-агенту или по ip с помощью htaccess
Пример блокировки по юзер-агенту

опять же это все хорошо и все замечательно
но кто этот юзер-агент среди Отфильтрованы по статистическим правилам
или как в метрике посмотреть что за боты, потому что сам не нашел а в гугле тоже нет инфы
Цитата
Zhezkazganetcs пишет:
Coder, как посмотреть в метрике что за боты?
- по логам
- настроить метрику

1. _https://tmp.coderhs.com/1/robot-ya

2. _https://tmp.coderhs.com/1/robot-ya2

Ps - я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
Изменено: Coder - 12 Октября 2019 13:21
Цитата
Coder пишет:
я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
а это где смотреть?
метрику то я полазил и там есть у меня
скрин за год
Рисунок

я не могу понять кто это Отфильтрованы по статистическим правилам и как их заблочить
они создают 4-6 запросов в секунду
Цитата
Zhezkazganetcs пишет:
а это где смотреть?
Это на сервере Вашем смотреть, в логах. Если этого нет (например, vds без такой фичи) - то нужно ставить скрипт логирования.
Пробросить ns записи домена через cdn cloudflare, что автоматом банит ботов
по отчетам в хостинге лазил и вот что нашел
Код
AhrefsBot   2,498+28   213.56 МБ   11 Окт 2019 - 14:44
bingbot   1,483+69   126.83 МБ   11 Окт 2019 - 15:09
Unknown robot identified by bot\*   629+106   49.00 МБ   11 Окт 2019 - 14:39
Unknown robot (identified by hit on robots.txt)   0+659   42.99 КБ   11 Окт 2019 - 13:02
proximic   357+56   21.64 МБ   11 Окт 2019 - 14:52
crawl   319+67   19.58 МБ   11 Окт 2019 - 14:49
SeznamBot   92+125   7.82 МБ   11 Окт 2019 - 13:34
DotBot   41+143   3.90 МБ   11 Окт 2019 - 13:00
MJ12bot   100+59   8.37 МБ   11 Окт 2019 - 12:23
fetcher   81   1.30 МБ   11 Окт 2019 - 14:15
Java ( catchall )   68   0   11 Окт 2019 - 08:53
empty user agent string   67+1   6.51 МБ   11 Окт 2019 - 10:22
nbot   55+2   5.04 МБ   08 Окт 2019 - 11:08
SemrushBot   18+27   1.62 МБ   11 Окт 2019 - 02:23

но больше всего яндексбот шарится
Код
YandexBot   33,909+260   2.74 ГБ   11 Окт 2019 - 15:10
sharkson, прописал
Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist

сайт вообще не работает
в роботсе прописал
Код
User-agent: *
Disallow: /

User-agent: Yandex
Disallow: 
User-agent: Mail.Ru
Disallow: 
User-agent: StackRambler
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: Aport
Disallow: 
User-agent: msnbot
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-slurp
Disallow: 


но уже Отфильтрованы по статистическим правилам 2 148
Цитата
Zhezkazganetcs пишет:
sharkson, прописал
Значит где-то шибку допускаете. Боты AhrefsBot, Бинг, Семруш и тем более боты Яндекса не могут создавать нагрузку на сервер, если у вас настроено все правильно. И тем более не могут положить сайт.

Увеличьте интервал Crawl delay

В Вебмастере задайте для ботов Яндекса свои настройки в "Скорости обхода".

Цитата
User-agent: *
Disallow: /

Учтите, что эта команда запрещает любым ботам сканировать весь сайт.
Изменено: sharkson - 12 Октября 2019 15:54
Цитата
sharkson пишет:
Значит где-то шибку допускаете. Боты

ну я ваш код вставил, просто svetabot заменил на AhrefsBot

а т.к. Отфильтрованы по статистическим правилам не изменились, то с роботса убрал все то
Цитата
sharkson пишет:
Увеличьте интервал Краул делэй

это как?
Цитата
Zhezkazganetcs пишет:
это как?
в /robots.txt

После строки

Код
Host:
 

C новой строки пишете

Код
Crawl-delay: 5
 
задает таймаут в 5 секунд для того бота который выше упомянут в строке

User-agent:
Изменено: sharkson - 12 Октября 2019 16:08
Страницы: 1 2 3 4 След.
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:15 Отправили в баню сайт 
21:41 Родительская страница получет вес от дочерней? 
19:59 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
19:46 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
19:08 PushAdvert.biz — зарабатывайте на Push подписках еще больше 
15:50 CPA Kitchen - Глобальная Гемблинг Партнерка | Смартлинка, Ротатор, Постбеки | Офферы под все ГЕО 
15:36 90% специалистов выделяют бюджет на ссылки. Sape и SEOnews публикуют исследование рынка SEO 
19:20 Ищем Affiliate менеджера для веб мастеров 
18:14 Накрутка отзывов в яндекс/гугл/2гис и полный контроль репутации в интернете 
17:30 Спамер соц. сети Вконтакте 
17:27 [Shopsocks5.com] Service Socks5 Cheap - Check Soc 
09:45 Размещу ссылки/статьи на ваш сайт/Рост ИКС 
23:48 Индивидуальные IPv4 прокси Европа. 30 р./месяц за 1 штуку 
21:45 ProxyPlanet - списки прокси серверов со всего мира! 
00:38 В России более чем в два раза подскочили цены на жесткие диски 
23:39 Госдума приняла закон об изъятии у чиновников денег недоказанного происхождения 
23:37 Банки будут принудительно передавать данные о россиянах в ФНС 
22:20 Опускаются руки 
21:17 Обсуждение нового сервиса Revalin.com 
17:07 В ЕС планируют запретить наличные платежи на сумму более 10 тысяч евро 
17:28 Автоматизированная схема с прибылью от 1500 - 2000 руб. сутки