Как заблочить роботов, которые кладут сайт
Страницы: 1 2 3 След.
Как заблочить роботов, которые кладут сайт
последнее время очень сильно атакуют боты какие то
Рисунок

ложат сайт, что появляется 508 ошибка
как решить проблему?

Комплексное SEO продвижение в поисковых системах Яндекс, Google

Варианты есть, зависит от конкретной ситуации:

- можно блочить ботов поименно
- можно блочить слишком часто приходящих за короткое время
- можно блочить по стране
- вариант по времени (ночью, например, накидываются)


можно ставить заслон ввиде доп. капчи, например, для зачастивших или подозрительных - опять же - по странам, и прочему.
Цитата
Zhezkazganetcs пишет:
как решить проблему?


Начать с анализа логов
Zhezkazganetcs,  заблокирую по юзер-агенту или по ip с помощью htaccess

Пример блокировки по юзер-агенту


Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^svetabot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist
 

^svetabot - замени на название своего бота.
Изменено: sharkson - 12 Октября 2019 03:25
Coder, как посмотреть в метрике что за боты?
Отфильтрованы по статистическим правилам 7 558
вот они это кто? как их определить чтобы блочить?
просто не хочется всех подряд блочить

Цитата
sharkson пишет:
заблокирую по юзер-агенту или по ip с помощью htaccess
Пример блокировки по юзер-агенту

опять же это все хорошо и все замечательно
но кто этот юзер-агент среди Отфильтрованы по статистическим правилам
или как в метрике посмотреть что за боты, потому что сам не нашел а в гугле тоже нет инфы
Цитата
Zhezkazganetcs пишет:
Coder, как посмотреть в метрике что за боты?
- по логам
- настроить метрику

1. _https://tmp.coderhs.com/1/robot-ya

2. _https://tmp.coderhs.com/1/robot-ya2

Ps - я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
Изменено: Coder - 12 Октября 2019 13:21
Цитата
Coder пишет:
я логи пользую - это raw и проще часто - мне, по крайне мере. Даже если их там очень много - по-тихоньку все одно они кончатся.
а это где смотреть?
метрику то я полазил и там есть у меня
скрин за год
Рисунок

я не могу понять кто это Отфильтрованы по статистическим правилам и как их заблочить
они создают 4-6 запросов в секунду
Цитата
Zhezkazganetcs пишет:
а это где смотреть?
Это на сервере Вашем смотреть, в логах. Если этого нет (например, vds без такой фичи) - то нужно ставить скрипт логирования.
Пробросить ns записи домена через cdn cloudflare, что автоматом банит ботов
по отчетам в хостинге лазил и вот что нашел
Код
AhrefsBot   2,498+28   213.56 МБ   11 Окт 2019 - 14:44
bingbot   1,483+69   126.83 МБ   11 Окт 2019 - 15:09
Unknown robot identified by bot\*   629+106   49.00 МБ   11 Окт 2019 - 14:39
Unknown robot (identified by hit on robots.txt)   0+659   42.99 КБ   11 Окт 2019 - 13:02
proximic   357+56   21.64 МБ   11 Окт 2019 - 14:52
crawl   319+67   19.58 МБ   11 Окт 2019 - 14:49
SeznamBot   92+125   7.82 МБ   11 Окт 2019 - 13:34
DotBot   41+143   3.90 МБ   11 Окт 2019 - 13:00
MJ12bot   100+59   8.37 МБ   11 Окт 2019 - 12:23
fetcher   81   1.30 МБ   11 Окт 2019 - 14:15
Java ( catchall )   68   0   11 Окт 2019 - 08:53
empty user agent string   67+1   6.51 МБ   11 Окт 2019 - 10:22
nbot   55+2   5.04 МБ   08 Окт 2019 - 11:08
SemrushBot   18+27   1.62 МБ   11 Окт 2019 - 02:23

но больше всего яндексбот шарится
Код
YandexBot   33,909+260   2.74 ГБ   11 Окт 2019 - 15:10
sharkson, прописал
Код
# User agent baning. Start blocklist
SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
<limit get="" post="" head="">
 Order Allow,Deny
 Allow from all
 Deny from env=bad_bot
</limit>
# End blocklist

сайт вообще не работает
в роботсе прописал
Код
User-agent: *
Disallow: /

User-agent: Yandex
Disallow: 
User-agent: Mail.Ru
Disallow: 
User-agent: StackRambler
Disallow: 
User-agent: Googlebot
Disallow: 
User-agent: googlebot-image
Disallow: 
User-agent: googlebot-mobile
Disallow: 
User-agent: Aport
Disallow: 
User-agent: msnbot
Disallow: 
User-agent: psbot
Disallow: 
User-agent: yahoo-slurp
Disallow: 


но уже Отфильтрованы по статистическим правилам 2 148
Цитата
Zhezkazganetcs пишет:
sharkson, прописал
Значит где-то шибку допускаете. Боты AhrefsBot, Бинг, Семруш и тем более боты Яндекса не могут создавать нагрузку на сервер, если у вас настроено все правильно. И тем более не могут положить сайт.

Увеличьте интервал Crawl delay

В Вебмастере задайте для ботов Яндекса свои настройки в "Скорости обхода".

Цитата
User-agent: *
Disallow: /

Учтите, что эта команда запрещает любым ботам сканировать весь сайт.
Изменено: sharkson - 12 Октября 2019 15:54
Цитата
sharkson пишет:
Значит где-то шибку допускаете. Боты

ну я ваш код вставил, просто svetabot заменил на AhrefsBot

а т.к. Отфильтрованы по статистическим правилам не изменились, то с роботса убрал все то
Цитата
sharkson пишет:
Увеличьте интервал Краул делэй

это как?
Цитата
Zhezkazganetcs пишет:
это как?
в /robots.txt

После строки

Код
Host:
 

C новой строки пишете

Код
Crawl-delay: 5
 
задает таймаут в 5 секунд для того бота который выше упомянут в строке

User-agent:
Изменено: sharkson - 12 Октября 2019 16:08
Страницы: 1 2 3 След.
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:00 Яндекс vs Гугл 
16:57 Лучшая рекламная сеть Traffic.ru! 
16:00 CPA Kitchen - Глобальная Гемблинг Партнерка | Смартлинка, Ротатор, Постбеки | Офферы под все ГЕО 
13:18 Нужен файл роботс для вордпресс. 
12:07 Букварикс: бесплатная программа для быстрого поиска ключевых слов 
12:02 Поможет ли для продвижения в Яндекс 
20:54 Вы круглый год одинаково в сети работаете? | Апдейт Яндекс выдача 21 февраля 2020 
22:23 Профессиональное ведение каналов в Ютубе, Белое продвижение, Услуги в соц. сетях 
18:12 PAY2DAY.TOP - Покупка и продажа криптовалюты за рубли. 
17:18 Требуется СЕО аудит сайта 
15:31 Программы для рассылок, накрутки, продвижения и ведения аккаунтов в skype, instagram, vk, ok, avito, lenta.ru 
13:43 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
12:53 Тексты премиум - качества! Доступные условия для бизнеса и удар по поисковым алгоритмам! 
12:25 Комплексный прогон сайтов, нет каталогов от shtaketo, хороший рост позиций + Тиц 30 - 100 
22:56 Подскажите партнерки для соц. сетей 
22:46 С 23 февраля! 
22:43 Коронавирус 
17:49 ВК - слив данных или парсинг? 
16:22 Клещи 
10:51 Сбор семантического ядра. Key Collector. Сжатые сроки 
19:20 Кто работал с данной биржей proflinks?