Потому что выдача (особенно в коммерции) сейчас на 90% состоит из тех, кто крутит ПФ. Ты можешь писать идеальные статьи и делать удобный дизайн, но придет конкурент, включит софт и встанет выше тебя за неделю. А мне эти боты только статистику портят — отказы растут, глубина падает, Яндекс думает, что сайт плохой и пессимизирует. "Белое" СЕО работало, когда контент решал. Сейчас решает, у кого ботферма мощнее.

обычный cf их и не поймает, это же поведенческие боты на базе хрома (puppeteer/playwright) с прокачанными профилями. они рендерят js, двигают курсором — для метрики это валидный юзер. фильтровать по user-agent или ip бесполезно, они сейчас почти все на ротационных резидентных проксях сидят. копать надо в сторону tls fingerprinting (ja3/ja4). у ботовых скриптов, даже замаскированных, отпечатки handshake часто палятся и отличаются от реального chrome/safari. варианта два:
1. настраивать анализ пакетов на уровне сервера (чекать заголовки http/2 и порядок ciphers).
2. подключать внешний специализированный антибот (antibot cloud и аналоги), который умеет это делать сам. руками или простыми правилами в .htaccess ты этот траф не вычистишь — только реальным юзерам капчу подсунешь и пф еще сильнее уронишь.

Цитата
discipulus пишет: Уже сил нет бороться. С 1 января поперли боты с отказами, причем ведут себя как люди: скроллят, мышкой водят. Cloudflare пропускает, капчу они проходят. Позиции скачут то плюс 20, то минус 30 каждый апдейт. Может есть приватные решения сейчас? Готов купить мануал или складчину. Потому что белыми методами в Яндексе в 2026 году ловить, похоже, нечего...

Снос метрики обычно используют как простейшее решение. Всё остальное технически сложно.