Цитата
GdeProfit пишет: Наткнулся недавно на статью, где предложен вариант запрета страниц от Google.

Это скорее запрет индексации папок, а не страниц.
По моему с папками прекрасно справляется и robots.txt

Цитата
GdeProfit пишет: Цитата Ять пишет: По моему с папками прекрасно справляется и robots.txt А например feed, через роботс не закрыть вроде? Все равно в индекс попадает...

По своему опоту скажу, что Гугл похоже вообще не обращает внимание на robots.txt, индексирует всё, при этом у страниц, которые запрещены к индексации, под тайтлом в выдаче написано, что-то про то, что доступ к странице ограничен с помощью файла robots.txt

Цитата
Максим пишет: Гугл похоже вообще не обращает внимание на robots.txt, индексирует всё, при этом у страниц, которые запрещены к индексации, под тайтлом в выдаче написано, что-то про то, что доступ к странице ограничен с помощью файла robots.txt

Этого легко избежать совершенно не применяя robots.txt отдавая на желаемых страницах заголовок X-Robots-Tag: noindex, noarchive.