Ах-ха-ха, то есть для Яндекса вообще запретов нет, кушай Яша весь сайт наслаждайся.

Если выводите робота Яндекса в отдельный раздел то и правила для него отдельно прописывайте.

Цитата
Алексей SP пишет: Если выводите робота Яндекса в отдельный раздел то и правила для него отдельно прописывайте.

Это было написано на каком-то форуме для Яндекса.  Так и не ответили на мой вопрос.

Цитата
Алексей SP пишет: Цитата Vailok пишет: Это было написано на каком-то форуме для Яндекса. help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Тогда лучше:


User-agent: *
Disallow: /tags/
Disallow: /xfsearch/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Sitemap: zfilm-hd.ru/sitemap.xml
Host: zfilm-hd.ru

так??

Цитата
vito пишет: Могу сказать по тегам, парочка тегов у меня в топе сидят кстати не заморачивался над тем чтоб их закрывать от роботов.

У меня их вообще нету я их прибрал к xfsearch, чтобы потом не мучится. Везде а то пишут, то убирай, это убирай... Перегулил всё еще месяц назад, перед открытием сайта.

Но теперь с многочисленными страницами вновь вернулся к robots.