User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /archives/
Disallow: /category/
Disallow: /search/
Disallow: /page/
Disallow: /tag/
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Host: www.site.com
Sitemap: www.site.com/sitemap.xml

Толком не кто не ответил по этому я решил выбрать вот такой фаил роботс, по моему мнению он самый лучший из вариантов.

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /wp-content/languages
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /wp-content/languages
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host:сайт.ru
Sitemap: сайт.ru/sitemap.xml
Sitemap: сайт.ru/sitemap.xml.gz


Воттолько одно не понимаю, проверяю плагином фаил роботс выводит что ошибка в 
Host:сайт.ru  не корректно для роботс,но вроде бы во всех вариантах такая строка есть.

Пробел поставил но все равно плагин All In One SEO Pack ругаеться

Цитата
В чем, собственно заключается вопрос? Если именно в том, как состоявать роботс, то это каждый выбирает для себя сам. Основные моменты есть, но они представлены в том, который вы решили использовать. Однако, я бы все-таки закрыл архивы, рубрики и тэги.

Рубрики и комменты, наверно, не стоит закрывать.. какой смысл?У меня на одном сайте трафик идет и на рубрики (разделы) в том числе. 

А вам, ТС, лучше почитать подробнее что означает каждая директива, что конкретно она закрывает. Потому что для каждого сайта роботс может быть иной. 
Поищите в гугле сайт Вебмастера Максима, у него по поводу роботса много статей есть и все написаны именно для новичков. Кроме того, автор статей еще и в комментах отвечает, если что-то не понятно. Ну или так просто поищите в поиске ответы на вопросы. 

Цитата
константин лебедев пишет: Цитата Koza Moza пишет: Рубрики и комменты, наверно, не стоит закрывать.. какой смысл Дубли

Объясните, плиз, как рубрики делают дубли?

Цитата
константин лебедев пишет: Цитата Koza Moza пишет: Объясните, плиз, как рубрики делают дубли? Вы идиот? Вы вообще понимаете принцип вп?

отвечайте нормально, либо вообще не отвечайте. Я задаю вопросы в разделе для новичков, а значит многое не понимаю или не знаю.