Запретить сканирование сайта роботами через htaccess
Страницы: 1
Запретить сканирование сайта роботами через htaccess
Как запретить сканировать сайт всем ботам кроме яндекса и гугла?
не так давно кто-то выкладывал список ботов - воспользуйтесь поиском
Например так:


Код
<IfModule mod_rewrite.c>
RewriteEngine on
# Блокировка по USER AGENT:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} PHP/ [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]
</ifModule>
 
Со списком понятно,но ежедневно находятся новые боты и редактировать каждый раз htaccess не очень удобно,особенно когда более 50 сайтов.Есть ли способ закрыть от всех кроме яндекса и гугла? Или закрыть можно только списком,каждый раз добавляя?
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:31 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
17:29 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
17:28 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
17:24 Как настроить robots.txt и sitemap, чтобы страницы нормально заходили в индекс 
17:23 С чего сейчас проще начать? 
12:44 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
11:39 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
17:34 Русские народные сказки - оцените! 
15:07 Продажа аккаунтов HH.RU 
13:47 OneSix Wallet – Оплата по QR-коду и вывод на карту с баланса USDT 
12:14 Мониторинг обменников Сrypto-scout.io 
09:31 Monitex: Мониторинг с кэшбэком 80% в USDT 
22:14 Услуги рассылки Viber|Whatsapp|IMO. 
22:14 Прием платежей для HIGH RISK | Прием платежей без сайта 
17:33 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
17:20 "Вымпелком" предложил белые списки для части абонентов - выборочный интернет вместо полного доступа 
14:20 Список обновленных тем пуст... 
22:33 А вы бегаете? 
15:29 арбитражники 
14:06 С юмором по жизни! 
10:18 Добро пожаловать в цифровой мир...