анализ ip => блокировка по ASN и/или странам намного уменьшают количество таких ботов. Полностью убрать невозможно, т.к. они могут приходить так же, как люди, с обычных адресов, а самые продвинутые даже могут забороть каптчу.

Цитата
Игорь пишет: Банить каждую маску айпишек?

Блок всех адресов ASN-сети, из которой обнаружены боты. Я, кстати, закрыл вход всем китайцам, от них чуть ли не половина ботов лезла.

Цитата
Игорь пишет: С примерами можно?

Ну тут сложно с примерами, боты к разным сайтам ходят с разных сетей. Нашли у себя бота - по нему ищете название/asn-номер всей сети, с этой информацией ищите все блоки адресов этой сети, закрываете возможность посещения сайтов с этих адресов либо сервером своим (nginx, apache), либо вовсе через php.Ну и анализировать юзер-агента, там куча краулеров и ботов, которым пофиг на рекомендации в роботсе, в последние недели ещё долбятся как ненормальные по всем фронтам боты gpt и openAI. Страну можно быстро локально определять, например, с SYPEX, если используете php.

Цитата
Юрий пишет: А зачем с ними бороться?

Много причин. Статистику искажают, могут портить поведенческие, нагружают сервер, собирают информацию и обучаются на ней, замещая сайт в поиске информацией, сгенерированной с него, делают лишние просмотры и клики по рекламе, за что сайт может быть забанен в системах монетизации, дают фэйковые заявки, заказывают на левых людей обратные звонки, собирают информацию о ссылках и другую информацию со страницы, предоставляя в дальнейшем конкурентам. В общем, пользы от них никакой, а вреда полные шаровары.

Ну пишут что боты вредны, хз, я чуть счетчик модифицировал и он ботов не считает простых кто заходит и уходит