Я много прочитал литературы по созданию robots.txt, и сделал себе вот такой:

User-agent: *
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

User-agent: Yandex
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html
Host: bestcwalk.com

User-agent: Googlebot
Disallow: /engine/download.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /to/?
Disallow: /newposts/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /favorites/
Disallow: /tags/
Disallow: /*page/
Disallow: /page/
Disallow: /2010/
Disallow: /2011/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*userinfo
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /rules.html

Sitemap: http://site.ru/sitemap.xml (если ваш сайт проиндексировал робот с www, то дописывать www, если нет то без www)

Конечно можно ограничиться и первым пунктом "User-agent: *", но лучше сделать отдельный для каждого поисковика, таких как Гугл и Яша)))

Спасибо, и себе взял

Цитата
Андрей Ода пишет: Только забыл сказать за Host: - или так надо?

Посмотри повнимательней:

Цитата

User-agent: Yandex Disallow: /engine/download.php Disallow: /engine/go.php Disallow: /user/ Disallow: /to/? Disallow: /newposts/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /favorites/ Disallow: /tags/ Disallow: /*page/ Disallow: /page/ Disallow: /2010/ Disallow: /2011/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*print Disallow: /*userinfo Disallow: /index.php?subaction=userinfo Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /index.php?do=rules Disallow: /rules.html Host: bestcwalk.com

я просто разместил его не в конце, его можно размещать в любом месте, робот по любому прочитает его...

Цитата
Андрей Ода пишет: Ты забыл сказать что его надо поменять на свой домен

Да тут и так все понятно. Только дурень не поменяет.

Ну это кто как? Есть такие даже не смотрят, скопировали и все