Ух. Вобщем возник весьма деликатный вопрос.
Есть мнение что дубли страниц сайта приводят к АГС.
Например:
http://сайт.ru/news/boeviki/1-0-1
http://сайт.ru /news/boeviki/2-0-1
http://сайт.ru /news/boeviki/3-0-1
Как видно это просто разные страницы одной категории, переход по которым осуществляется через пагинацию.
http://сайт.ru /news/boeviki/2-0-1
http://сайт.ru /news/boeviki/3-0-1
эти две страницы являются дублями, первой:
http://сайт.ru/news/boeviki/1-0-1
Погуглев, я нашёл такой вариант закрытия дублей в robots.txt:
Disallow: /*&*
Кто в этом понимает, раскажите, что этот запрет даст и как это повлияет на индексацию непосредственно материала?