Я составляла для вордпресса. Что и как - написано здесь, пока вроде ошибок нет, а ту, что допустила, поисковик потихоньку исправляет. Удачи!

P.S. У меня есть тоже вопросы по robots.txt, в частности, что касается /. Но ответа пока не нашла. Пока стоит такой:
User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /category/
Disallow: /page/
Disallow: /tag/
Disallow: /archive/
Disallow: /trackback
Disallow: /feed
Disallow: /feed/atom/
Disallow: /feed/rss/
Disallow: /comments
Disallow: /?s=

Sitemap: http://olejnikova.ru/sitemap.xml
Sitemap: http://olejnikova.ru/sitemap.xml.gz

Запретила папку /wp-content/ полностью, потому что картинки храню в другой. Если как обычно, то нужно разрешить доступ к папке с картинками.