Google о том, как не нужно уменьшать сканирование ботом

В указанном вопросе нужно следовать правилам и не заниматься самодеятельностью.

Об этом на днях несколько постов выдал Гари Иллиес (Gary Illyes). Суммируем их содержание:

"В последние несколько месяцев мы заметили всплеск среди владельцев сайтов и некоторых CDN, которые намеренно используют код ошибки 404 или похожие 4xx (это не касается ошибки 429) для того, чтобы уменьшить частоту сканирования нашим ботом.

Должен отметить, что коды ответа сервера 403 и 404 не позволят вам быстро снизить частоту сканирования. Более того, можно добиться обратного эффекта. У нас имеются рекомендации, как правильно снижать частоту сканирования Гуглботом. И, увы, ошибок 403 и 404 в них нет".

А вам приходилось ограничивать сканирование со стороны Google? Как вы этого добивались?

18 Февраля 2023

Возврат к списку

Новые темы	Объявления	Свободное общение
15:33 Adtrafico - Правильная партнёрская сеть под бурж трафик 13:00 Партнерская программа Xoffers с прямыми офферами в вертикалях форекс, крипта и бинарные опционы. 06:22 Как правильно присоединить файл css шрифтов и иконок Awesome? 21:00 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 18:27 Как уведомлять клиентов о том, что их заказ оформлен на нашем сайте? 10:45 Как получить большую скидку на покупку Xrumer, Xevil 10:32 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт!	11:11 Высококачественные и надежные прокси-серверы и 5G 21:52 Swop.is - криптообменник нового поколения 21:04 Размещу ссылки/статьи на ваш сайт \| Рост ИКС \| XRumer 19.0.15 20:38 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 18:49 Продвижение сайтов в ТОП Яндекса за 2 недели. Рост позиций и трафика. Бесплатный тест. 12:47 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 12:46 Expa24.com Обмен Криптовалют. Ввод/Вывод наличные Украина/Северный Кипр/Мир	04:18 Точные прогнозы на футбол 19:24 Вознаграждение 1000$ за активности 00:16 России тестируют браузер «Луна»: «Альтернативный российский браузер для быстрого и безопасного доступа в интернет» 00:08 Курс доллара упал ниже 85 рублей 18:36 Где лучше всего проверять позиции сайта? 14:58 Подтягиваем физкультурку 14:55 С юмором по жизни!