Может вопрос глупый, но все же интересно.
Нужно ли запретить индексировать постраничную навигацию?
Вед когда добавляешь новости на сайт, то периодически меняется контент этих страниц и получается так, что например контент второй страницы оказывается полностью на третей и так далее.
Провел наблюдение по robots,txt-ам крупных сайтов и лишь несколько из них закрыли эти страницы для индексации.

p.s.
Прошу перенести тему, если не в положенном разделе.