Google о том, как не нужно уменьшать сканирование ботом

В указанном вопросе нужно следовать правилам и не заниматься самодеятельностью.

Об этом на днях несколько постов выдал Гари Иллиес (Gary Illyes). Суммируем их содержание:

"В последние несколько месяцев мы заметили всплеск среди владельцев сайтов и некоторых CDN, которые намеренно используют код ошибки 404 или похожие 4xx (это не касается ошибки 429) для того, чтобы уменьшить частоту сканирования нашим ботом.

Должен отметить, что коды ответа сервера 403 и 404 не позволят вам быстро снизить частоту сканирования. Более того, можно добиться обратного эффекта. У нас имеются рекомендации, как правильно снижать частоту сканирования Гуглботом. И, увы, ошибок 403 и 404 в них нет".

А вам приходилось ограничивать сканирование со стороны Google? Как вы этого добивались?

18 Февраля 2023

Возврат к списку

Новые темы	Объявления	Свободное общение
02:28 Кто как борется с ботами ПФ? 20:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 17:27 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 14:20 Партнерская программа OWNR WALLET 11:17 Новая поисковая система от OpenAI 08:07 Самозанятые смогут зарабатывать в рекламной сети VK 07:57 А ты жарил? АПдейт Яндекс выдача 11 мая 2024	05:11 Transit-Bit.com - Обмен USDT на IDR, THB, RUB и наличные 20:29 Заказать отзывы, купить отзывы. 18:27 Сервис ReCaptcha 2, 30р за 1000 решений. 18:00 Услуги рассылки Viber\|Whatsapp\|IMO. 18:00 Услуги рассылки Вконтакте 17:59 Рассылка в TELEGRAM \|Большой опыт работы \| Любые тематики \| Лучшая конверсия 17:58 Прием платежей для HIGH RISK \| Прием платежей без сайта	00:04 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 11:40 Кто сделает прогон для адалт сайта? 09:25 Добро пожаловать в цифровой мир... 10:31 Видимо, похороны СУПРа уже прошли как-то по-тихому 08:08 С юмором по жизни! 08:02 Жизнь за границей, куда переехать. 07:58 Точные прогнозы на футбол