Как запретить полную индексацию папки?

Сообщений: 25 Регистрация: Сен 2011

19 Августа 2013 03:08

В интернете много написано как запретить через робот.тхт:

Disallow: /.../

Но также пишет что поисковые системы на это не очень смотрят и все равно сканируют содержимое папок. Мне же нужно чтобы это не происходило. Как это можно правильно сделать?

Зарание благодарен за ответ!

Coder

Сообщений: 10698 Регистрация: Мар 2013

19 Августа 2013 13:36

Посмотрите:

_http://ivan.cheredov.com/%D0%B7%D0%B0%D0%BF%D1%80%D0%B5%D1%82-%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8-robots-txt-htaccess/

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

chebakka

Сообщений: 1 Регистрация: Янв 2014

17 Января 2014 15:59

Та ссылка не работает. ivan.cheredov.com/?p=23

Изменено: chebakka - 17 Января 2014 16:02

SovaBarmak85

Сообщений: 107 Регистрация: Июн 2010

17 Января 2014 19:04

можно попробовать в .htaccess по юзер агенту, а вообще ту папку кому то нада видеть из вэба? если нет то тупо поставьте права)

trustcombat

Сообщений: 95 Регистрация: Фев 2014

20 Февраля 2014 02:39

Google и Яндекс следуют правилам robots.txt. Про ошибки пишут те, кто неправильно оформил эти файлы или сменил их. Посел изменения robots.txt поисковики могут несколько месяцев не сканировать его и следовать старым правилам.

Прогоны по профилям без предоплаты trustcombat.com

Дмитрий Иванов

Сообщений: 45 Регистрация: Окт 2012

6 Марта 2014 12:02

Содержимое папок то они сканируют, но в основной индекс информация не попадает.

Мой блог о IT безопасности

Banned

Сообщений: 678 Регистрация: Мар 2014

6 Марта 2014 13:07

ЧЕрез роботс, правильно написали вроде)

продам подпись : 5$ / месяц

Александр Ковалёв Сообщений: 4 Регистрация: Апр 2014	#8 23 Апреля 2014 23:19 webmaster там есть запреты

Новые темы	Объявления	Свободное общение
12:44 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 12:42 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 23:09 Как безопасно купить Гугл почту? 13:45 Какой движок выбрать для форума? 13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать 09:26 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 19:27 Плагин ответа	12:36 Nexulume.com Обменник без AML и KYC 09:12 Swapwatch.org — Мониторинг криптовалютных обменников 09:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:25 SOCKS5 приватные прокси на 30 дней для PayPal 23:24 Google Voice аккаунты для бесплатных SMS и звонков 23:23 PayPal аккаунты для любых целей 23:02 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	12:41 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 06:26 Ставки на супер тренды в спорте 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 22:30 Точные прогнозы на футбол 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 07:11 Список обновленных тем пуст... 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем

Новые темы

Объявления

Свободное общение

12:44 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?
12:42 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
23:09 Как безопасно купить Гугл почту?
13:45 Какой движок выбрать для форума?
13:43 Нашел скрины выплат с Сапы за 2010 год. Пошел плакать
09:26 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing
19:27 Плагин ответа

12:36 Nexulume.com Обменник без AML и KYC
09:12 Swapwatch.org — Мониторинг криптовалютных обменников
09:07 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
23:25 SOCKS5 приватные прокси на 30 дней для PayPal
23:24 Google Voice аккаунты для бесплатных SMS и звонков
23:23 PayPal аккаунты для любых целей
23:02 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств

12:41 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?
06:26 Ставки на супер тренды в спорте
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
22:30 Точные прогнозы на футбол
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
07:11 Список обновленных тем пуст...
17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем