Делюсь личным опытом: запустил блог, естественным было желание полностью избавиться от любого мусорного контента, оставив только страницы с материалами. Позакрывал в robots.txt всё что только можно, и с удивлением обнаружил, что в индекс всё равно попала куча какого-то мусора, даже если он был закрыт в robots - например, ссылки без сниппетов со странными анкорами. Если брать конкретный пример - блог у меня двуязычный, и на каждой странице был переключатель языков, который вёл на переведённую страницу. Причём ссылка указывала на URL, который был запрещён в robots.txt - и тем не менее в выдаче появлялись результаты вида "Русский", "English" - т.е. с title переключателя языков. В итоге побороть это удалось только добавлением к таким ссылкам rel="nofollow". Уже позже выяснил, что Гугл хоть и не индексирует страницу, которая закрыта в robots.txt, но индексирует ссылки на неё, которые и появляются в выдаче. Главный признак таких "случайных" страниц - отсутствие сниппета. Побороть можно только при помощи rel="nofollow"...