Что прописать в robots.txt

Сообщений: 1217 Регистрация: Авг 2011

17 Мая 2012 08:48

Извиняюсь, если вопрос уже поднимался.
Знатоки robots.txt подскажите какую строку нужно прописать, чтоб закрыть категории и страницы архива на козе:

Пример:
сайт.ру/news/категория - закрыть
сайт.ру/news/цифра(№страницы) - закрыть

сайт.ру/news/название новости - оставить открытым

Заранее спасибо.

Кино здесь или здесь | СЯ без мусора | 2,5 руб за безанкор | Ищу подработку

felis_serval

Сообщений: 11061 Регистрация: Окт 2010

17 Мая 2012 10:13

http://www.cy-pr.com/forum/f15/t28518/
как раз вчера с этой темой разбиралась.
Disallow: /articles/?p=$ закроет страницы категорий. Директива не запрещает первую страницу категории, установлено опытным путем. Если у Вас в категории статьи имеют ссылки третьего уровня эту страницу Вы никак не закроете.

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

17 Мая 2012 10:23

felis_serval, категорий у меня не много, поэтому их можно прописать вручную закрыть. Интересует как закрыть вот такое: сайт.ру/news/цифра(№страницы) - чтоб если после news/ идет цифра то закрыто, а если посте news/ идет слово то открыто.
Наверно не реально это.

JOK#R

Сообщений: 7396 Регистрация: Окт 2011

17 Мая 2012 10:25

help.yandex.ru/webmaster/?id=996567
Уже не помогает?

Оптимизация сайтов - Заказать!
У тебя пропали позиции? Сайт в АГС? Нету посещений? Позиции калл? Пиши мне!

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

17 Мая 2012 10:30

JOK#R, какой ты молодец, а я и не знал smile:D

(шутка)
Вопрос открыт.

felis_serval

Сообщений: 11061 Регистрация: Окт 2010

17 Мая 2012 10:30

Цитата

Алексей SP пишет:
felis_serval, категорий у меня не много, поэтому их можно прописать вручную закрыть. Интересует как закрыть вот такое: сайт.ру/news/цифра(№страницы) - чтоб если после news/ идет цифра то закрыто, а если посте news/ идет слово то открыто.
Наверно не реально это.

Disallow: /articles/?цифра=$, вот и всё.
А категории если просто пропишете типа Disallow: /articles/ у Вас закроется весь каталог, все статьи в нем.

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

17 Мая 2012 10:38

Цитата

felis_serval пишет:

Цитата

Первое попробую, а второе знаю.
Спасибо.

JOK#R

Сообщений: 7396 Регистрация: Окт 2011

17 Мая 2012 10:41

Проще перепиши код - И пусть не будет у Записей \Category\rubrika\pod_rubrika\teg\Name_text
Так, как поисковые системы плохо относятся к таким Адресам.

Алексей SP

Сообщений: 1217 Регистрация: Авг 2011

17 Мая 2012 11:12

JOK#R, я просто в первом сообщении написал что сайт на козе

JOK#R

Сообщений: 7396 Регистрация: Окт 2011

#10

17 Мая 2012 12:41

Тупая коза значит... =(
Сделай тогда \ \$ - поидее так запретит только раздел.

Алексей SP Сообщений: 1217 Регистрация: Авг 2011	#11 17 Мая 2012 13:03 JOK#R, я знаю, я и так линк сократил на сколько возможно

Новые темы	Объявления	Свободное общение
14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 01:48 Стоит ли добавлять сайт в Rambler топ 100? 19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 09:02 Как продвигать сайт с неуникальным контентом 08:57 Absence в Армении 14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз	18:59 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 12:20 ABCproxy—Премиум жилой прокси, 190+ локаторов, Неограниченная пропускная способность, $0.77/GB, Trial Scraper api 11:24 Продам копию сайта. 09:48 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:42 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 15:52 AllCharge.online. Современный, быстрый и надёжный обменник	21:30 Ну что, кто куда деваете свои сайты? 21:05 Точные прогнозы на футбол 22:09 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди

Новые темы

Объявления

Свободное общение

14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
01:48 Стоит ли добавлять сайт в Rambler топ 100?
19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
09:02 Как продвигать сайт с неуникальным контентом
08:57 Absence в Армении
14:50 Индексация страниц
12:36 У кого новостник, дайте пару советов плиз

18:59 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
12:20 ABCproxy—Премиум жилой прокси, 190+ локаторов, Неограниченная пропускная способность, $0.77/GB, Trial Scraper api
11:24 Продам копию сайта.
09:48 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
21:42 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
15:52 AllCharge.online. Современный, быстрый и надёжный обменник

21:30 Ну что, кто куда деваете свои сайты?
21:05 Точные прогнозы на футбол
22:09 Добро пожаловать в цифровой мир...
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
22:08 Накрутка поисковых подсказок
14:01 Union Pharm - топовая фарма-партнерка для профессионалов!
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди

24.10.2018 23:02	Дублирование и robots DLE
21.11.2017 22:18	Robots.txt для бурж сайта
21.02.2017 10:59	Robots.txt для html сайта
05.11.2016 16:00	Помогите прописать редирект, когда окончание ссылки корявое((
31.10.2016 23:27	подскажите как правильно прописать в в роботс