Потому что выдача (особенно в коммерции) сейчас на 90% состоит из тех, кто крутит ПФ. Ты можешь писать идеальные статьи и делать удобный дизайн, но придет конкурент, включит софт и встанет выше тебя за неделю. А мне эти боты только статистику портят — отказы растут, глубина падает, Яндекс думает, что сайт плохой и пессимизирует. "Белое" СЕО работало, когда контент решал. Сейчас решает, у кого ботферма мощнее.

обычный cf их и не поймает, это же поведенческие боты на базе хрома (puppeteer/playwright) с прокачанными профилями. они рендерят js, двигают курсором — для метрики это валидный юзер. фильтровать по user-agent или ip бесполезно, они сейчас почти все на ротационных резидентных проксях сидят. копать надо в сторону tls fingerprinting (ja3/ja4). у ботовых скриптов, даже замаскированных, отпечатки handshake часто палятся и отличаются от реального chrome/safari. варианта два:
1. настраивать анализ пакетов на уровне сервера (чекать заголовки http/2 и порядок ciphers).
2. подключать внешний специализированный антибот (antibot cloud и аналоги), который умеет это делать сам. руками или простыми правилами в .htaccess ты этот траф не вычистишь — только реальным юзерам капчу подсунешь и пф еще сильнее уронишь.