Как заблочить роботов, которые кладут сайт
Страницы: Пред. 1 2 3
Как заблочить роботов, которые кладут сайт
sharkson, ну вот и у меня все было хорошо и посещалка такая же
а последнее время Отфильтрованы по статистическим правилам стало много
Отфильтрованы по статистическим правилам 3 058 на данный момент
поэтому когда пару раз увидел 508 и пообщался с хостером начал искать решение
яндексу Crawl-delay: 6 сделал

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Crawl-delay не нужно трогать - есть нюансы - бот сам определяет оптимальную частоту.

А блочить - через htaccess не стоит - слишком много и не оптимально.

И потом - разберитесь, почему это вдруг такая ситуация возникла - это и есть корень проблем и начало решения.
Coder, дак а что делать?
1. Подумать, с какого момента началось безобразие и что делалось с сайтом в это время и вокруг него
2. Тщательно проанализировать логи - именно тщательно, стараясь выявить повторения и какие-то закономерности
3 Используем что написано тут и не только, и комбинируем:

Запрет/бан доступа на сайт/страницу по ip через php _http://coderhs.com/archive/ban_ip_php (ставим автобан -> по следующему скрипту)

Защита сайта от слишком частого обращения  _http://coderhs.com/archive/defens_ddos (это у вас как раз частят)

Снизить нагрузку на сервер через .htaccess _http://coderhs.com/archive/reduce_server

Капча: решение текстового примера со сложением или вычитанием, просто _http://coderhs.com/archive/captcha_math_text (добавляем не текст, а картинку с текстом - никто, кроме человека и крутейшего ИИ, не прочтет)

--> Вариант такой - явных в автобан, неявных в передержку, возможных людей - капчу.

В любом случае - тепм атаки будет сбит, на автомате, или нет, целенаправлено или нет - и парсинг и злоумышление иное потеряет смысл, если придется по несколько минут ждать даже просто возжности захода на сайт.

Намек - оставляем только явных нужных ботов поисковиков, и затем смотрим - если кто совсем хулиганит, то возможна подмена - смотрим в инфо ПС и устанавливаем принадлежность и возможность такого поведения - в крайнем случае баним и смотрим результат.

--> Вариантов много - творческий подход и много-много работы.

+ Да и сам анализатор логов можно придумать - потом ручная проверка - и все в бан или еще куда - быстро, красиво и дешево.
Изменено: Coder - 14 Октября 2019 20:08
Coder,
Cloudflare часть проблем может решить.
Про капчу google невидимую не разбирались еще? Идея хорошая.
Цитата
Zhezkazganetcs пишет:
по отчетам в хостинге лазил и вот что нашел

но больше всего яндексбот шарится
Код
 YandexBot   33,909+260   2.74 ГБ   11 Окт 2019 - 15:10 
а вы уверены что это именно яндекс бот шарится? а не имитация его?и уверены что на вашем хостинге, а не другой сайт на сервере просто атачат, а ваш бонусом пошёл полежать?
Цитата
rushot пишет:
Про капчу google невидимую не разбирались еще? Идея хорошая.
Ну, 3 еще не смотрел, но вторую проходят - пока не поставил текстовую математическую капчу именно ввиде картинки в дополнение к google капчe v2, замусоривали и почту и отзывы. Причем иностранцы - видимо, переводили через перевод и грузили по полной. А как условие задачки на картинке - и все,потому как не переведешь.
Код
5.45.207.33 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
штук 20
Код
5.45.207.67 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
штук 15
Код
37.17.37.140 Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36

и это за сегодня
там конечно есть и другие, и много, но так вот в разделе посетители на хостинге
для Яндекс бота, да и других рекомендую задать delay в robots.txtа остальных негодяев я лично блокирую прямо в nginx


Код
if ($http_user_agent ~ SputnikBot|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) {
return 403;
}
 
на счёт Яндекс бота - посмотрите логи руками, отфильтруйте по IP и проверьте выборочно - принадлежит ли IP диапазону Я.Бота (можно найти в сети эти диапазоны)
Цитата
Клим Молотов пишет:
посмотрите логи руками, отфильтруйте по IP и проверьте выборочно - принадлежит ли IP диапазону Я.Бота (можно найти в сети эти диапазоны)

Я также сделал +smile:)
в общем я тут копался и нашел куда ломятся эти боты (наверно)

Код
/pab-sw.js

но у меня нет этого на сайте
как им запретить искать или заходить по этому пути?

Код
Disallow: /pab-sw.js 


или как?
всем спасибо, кто помогал и Coder, который натолкнул на мысль, что проблема в движке
в итоге, я отключил все плагины (штук 11) и поочередно включал самые необходимые
проблема пропала
но не все плагины еще включены
так что вероятнее всего проблема в каком то плагине
Страницы: Пред. 1 2 3
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
20:48 АП Яндекс выдача 07.07 
19:52 Контент в интернет магазине? 
17:08 ClickDealer- свои люди на рынке буржа! 
15:06 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
15:03 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:31 Накрутка поведенческих факторов весна - лето 2020 для продвижения сайта в ТОП Яндекса и Google 
12:54 CMS для сайта 
20:42 Продвину сайт качественными ссылками. Рост посещаемости, позиций и ИКС. Крауд ссылки недорого + скидки. 
17:04 Pinflux2Pro -супер мощный комбайн для Pinterest | Работает на полном автомате. 
16:53 PAY2DAY.TOP - Покупка и продажа криптовалюты за рубли. 
16:35 SocksHub.net - proxy, которые подходят всем 
16:34 Facebook комбайн. Парсер Facebook. 5 лет на рынке ПО. 
14:27 Продам сайт 7ooo.ru - соц.сеть и новости 
13:51 Walkman bot professional - повышение позиций в поиске поведенческими факторами. 
19:59 Психологи и тренеры показали человека после 25 лет на "удаленке" 
19:50 Я отходил от компьютера 
19:16 МТС нехорошие люди 
19:07 В Китае объявили третий уровень опасности из-за бубонной чумы 
15:18 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
10:03 Что выгодней 
19:50 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий