Цитата
Crusader пишет: Директива Host неофициальная и вроде как только яндексом и держится, потому для яндекса только и нужна - в гугле например после это директивы robots.txt не читается. Как вариант ставить эту директиву последней в файле - тогда не опасно

Позвольте с Вами не согласится. Поставил эту директиву последней и "наступил на грабли" с Гуглем - он начал "понимать" то что ему не предназначалось.

Первоначально файл robots.txt выглядел так
User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php

Все работало гуд. Возникла необходимость показать Яндексу что основной домен с www.
Добавил Host в конец

Получилось так
User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.адрес_сайта

Через некоторое время заметил, что Гугл начал "доставать" из фильтра страницы такого вида и добавлять их в свою выдачу
www.мой_сайт/cart.php?act=add&product=

Поискал, почитал рекомендации и сделал две записи

User-Agent: *
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php

User-Agent: Yandex
Disallow: /cart.php
Disallow: /sort.php
Disallow: /search.php
Disallow: /pages.php
Host: www.мой_сайт

Надеюсь, что данная комбинация сработает правильно. Если кто-то сталкивался с данной проблемой или видит новый косяк - ткните плз пальцем.
Заранее спасибо.