Цитата
killer1000 пишет: Всем привет. Есть вопрос: как запретить индексацию категории в robots , но разрешить индексацию статьи. сайт.ру/категория1/ подкатегория1 /название статьи.html Как в данном случае запретить индексацию подкатегория1 , но разрешить индексацию статьи? Всем заранее спасибо!

с этим проблема есть
если сделать вот так:

user-agent: Googlebot
allow: /категория1/подкатегория1/название статьи.html
disallow: /категория1/подкатегория1/

то сработает для гугла
у яндекса же есть напряги с пониманием директивы allow


варианты следующие:
1. указать каждый файл в robots.txt, индексирование к которым хотите запретить:
user-agent: *
disallow: /категория1/подкатегория1/file1.html
disallow: /категория1/подкатегория1/file2.html
...


2. если файлов в подкатегории много, либо страницы генерятся автоматически, тогда лучше запретить их через метатег

<meta name="robots" content="noindex, nofollow">

исправьте код, который генерит страницы подкатегории,которую вы хотите закрыть от индексирования, добавив в него этот метатег
а в ту отдельную статью тег не добавляйте


3. может есть смысл подумать о реструктуризации сайта..