Юрий, вы заблуждаетесь, считая, что это касается только "грандов" типа NYT. Проблема шире. Сейчас Cloudflare и хостинги выкатывают настройки "Block AI Bots" по умолчанию. И под этот замес попадают все боты-анализаторы скопом. В итоге вы не видите не "Нью-Йорк Таймс", вы перестаете видеть ссылочный профиль конкурента в вашей же нише. Как вы будете искать дропы или анализировать доноров, если Ахрефс их тупо "не видит"? Гадать на кофейной гуще?

Yazvezda, подход "слабоумие и отвага" - это весело, но до первого слива бюджета. Сэкономить на подписке, чтобы потом вслепую биться головой об алгоритмы - сомнительная "оптимизация" расходов. Инструменты кривые, спору нет, данных стало меньше. Но когда в Гугле шторм и волатильность зашкаливает (как последние 4 дня), работать вообще без карты - это, коллеги, профессиональный суицид.

Рынок становится "темным". Кто научится добывать данные в обход блокировок - тот и будет королем. Остальные останутся с "экономией" и без трафика.