Вы хотите что бы рубрики, метки, архивы, страницы авторов индексировались? Оставьте как есть. Если не хотите, то добавьте эти страницы в disallow. Вообще в ВП слишком много дублей, поэтому необходимо их максимально перекрывать, кроме роботса вам в этом деле поможет плагин All in One Seo.

И еще: если вы проводите какие то рекламные акции через директ или адвордс, то вам нужно будет закрывать еще от индексирования страницы с utm_source.

Остальное можно понять опытным путем - просматривать свой сайт на предмет проиндексированных страниц, и если вдруг туда попали неугодные, то закрывать их.

p.s. Забыл добавить про страницы вида bla-bla-bla.ku/some_category/page/n - мягко говоря от них в выдаче тоже толку немного, дублирующий контент, причем постоянно изменяющийся (добавили еще пачку статей - этот текст переехал на другой url)

Если есть желание посмотреть что стало после того как я обновил robots. www.cy-pr.com/forum/f64/t44217/

А я вот не пойму, поставил роботс как у вас. в гугле по запросу статья на втором месте, а в яше искал искал - и после 25 страницы не стал дальше искать. разница огромная.

Цитата
Александр Мысли пишет: А я вот не пойму, поставил роботс как у вас. в гугле по запросу статья на втором месте, а в яше искал искал - и после 25 страницы не стал дальше искать. разница огромная.

Боюсь вас расстроить но и в гугле нет второй позиции. Видимо сказывается персонифицированная выдача.
А по поводу яндекса - у него все изменения куда медленнее происходят, так что удивляться тут нечему.