Допустим, на сайте есть категория (site.ru/load/cat/1), которая содержит 100 материалов. На 1-ой странице выводится по 10 материалов.В итоге получается 10 страниц с одинаковыми тайтлами и мета-описаниями такого вида:
site.ru/load/cat/1-2-2
site.ru/load/cat/1-3-2
site.ru/load/cat/1-4-2 и т.д.
Как в robots.txt запретить индексировать такие страницы? Разумеется, кроме изначальной site.ru/load/cat/1
Прописывать в роботсе каждую такую страницу - не вариант, их очень много.
Или можно на это вообще забить?
site.ru/load/cat/1-2-2
site.ru/load/cat/1-3-2
site.ru/load/cat/1-4-2 и т.д.
Как в robots.txt запретить индексировать такие страницы? Разумеется, кроме изначальной site.ru/load/cat/1
Прописывать в роботсе каждую такую страницу - не вариант, их очень много.
Или можно на это вообще забить?

