Как запретить полную индексацию папки?

Сообщений: 25 Регистрация: Сен 2011

19 Августа 2013 03:08

В интернете много написано как запретить через робот.тхт:

Disallow: /.../

Но также пишет что поисковые системы на это не очень смотрят и все равно сканируют содержимое папок. Мне же нужно чтобы это не происходило. Как это можно правильно сделать?

Зарание благодарен за ответ!

Coder

Сообщений: 10571 Регистрация: Мар 2013

19 Августа 2013 13:36

Посмотрите:

_http://ivan.cheredov.com/%D0%B7%D0%B0%D0%BF%D1%80%D0%B5%D1%82-%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0%D1%86%D0%B8%D0%B8-robots-txt-htaccess/

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

chebakka

Сообщений: 1 Регистрация: Янв 2014

17 Января 2014 15:59

Та ссылка не работает. ivan.cheredov.com/?p=23

Изменено: chebakka - 17 Января 2014 16:02

SovaBarmak85

Сообщений: 107 Регистрация: Июн 2010

17 Января 2014 19:04

можно попробовать в .htaccess по юзер агенту, а вообще ту папку кому то нада видеть из вэба? если нет то тупо поставьте права)

trustcombat

Сообщений: 95 Регистрация: Фев 2014

20 Февраля 2014 02:39

Google и Яндекс следуют правилам robots.txt. Про ошибки пишут те, кто неправильно оформил эти файлы или сменил их. Посел изменения robots.txt поисковики могут несколько месяцев не сканировать его и следовать старым правилам.

Прогоны по профилям без предоплаты trustcombat.com

Дмитрий Иванов

Сообщений: 45 Регистрация: Окт 2012

6 Марта 2014 12:02

Содержимое папок то они сканируют, но в основной индекс информация не попадает.

Мой блог о IT безопасности

Banned

Сообщений: 678 Регистрация: Мар 2014

6 Марта 2014 13:07

ЧЕрез роботс, правильно написали вроде)

продам подпись : 5$ / месяц

Александр Ковалёв Сообщений: 4 Регистрация: Апр 2014	#8 23 Апреля 2014 23:19 webmaster там есть запреты

Новые темы	Объявления	Свободное общение
02:17 Как продвигать сайт с неуникальным контентом 15:08 Стоит ли добавлять сайт в Rambler топ 100? 12:59 Absence в Армении 19:29 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз 13:53 AviTool - мощный инструмент для автоматизации работы с Avito	01:31 Скрипт обменника валют 21:59 Продам копию сайта. 21:44 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 17:24 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 14:01 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:15 SOCKS5 приватные прокси на 30 дней для PayPal 13:14 Google Voice аккаунты для бесплатных SMS и звонков	22:09 Добро пожаловать в цифровой мир... 21:28 Ну что, кто куда деваете свои сайты? 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 05:04 Точные прогнозы на футбол 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди

Новые темы

Объявления

Свободное общение

02:17 Как продвигать сайт с неуникальным контентом
15:08 Стоит ли добавлять сайт в Rambler топ 100?
12:59 Absence в Армении
19:29 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
14:50 Индексация страниц
12:36 У кого новостник, дайте пару советов плиз
13:53 AviTool - мощный инструмент для автоматизации работы с Avito

01:31 Скрипт обменника валют
21:59 Продам копию сайта.
21:44 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
17:24 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
14:01 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
13:15 SOCKS5 приватные прокси на 30 дней для PayPal
13:14 Google Voice аккаунты для бесплатных SMS и звонков

22:09 Добро пожаловать в цифровой мир...
21:28 Ну что, кто куда деваете свои сайты?
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
22:08 Накрутка поисковых подсказок
05:04 Точные прогнозы на футбол
14:01 Union Pharm - топовая фарма-партнерка для профессионалов!
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди