Это дубли страниц и их лучше убрать!

Спасибо за ответы, уже закрыл от индексации.Кстати, лучше закрывать тегом robots чем директивами в файле robots.txt. 

Цитата
Koza Moza пишет: Цитата Andriy Maker пишет: Спасибо за ответы, уже закрыл от индексации.Кстати, лучше закрывать тегом robots чем директивами в файле robots.txt. Как это понять, объясните, плиз

Дело в том, что в большинстве случаев Google индексирует все, даже запрещенные через robots.txt страницы. А вот если запретить индексацию с помощью мета-тега robots, то он просто обязан послушаться. Если запрещенные тегом страницы находятся в индексе, то со временем они должны удалиться. Я нашел специальный модуль на DLE, который позволяет в автоматическом режиме контролировать индексацию сайтов. Называется он DonBot. Если что непонятно, можете спросить в личке. 

Цитата

Koza Moza пишет: Цитата Andriy Maker пишет: Цитата Koza Moza пишет: Цитата Andriy Maker пишет: Спасибо за ответы, уже закрыл от индексации.Кстати, лучше закрывать тегом robots чем директивами в файле robots.txt. Как это понять, объясните, плиз Дело в том, что в большинстве случаев Google индексирует все, даже запрещенные через robots.txt страницы. А вот если запретить индексацию с помощью мета-тега robots, то он просто обязан послушаться. Если запрещенные тегом страницы находятся в индексе, то со временем они должны удалиться. Я нашел специальный модуль на DLE, который позволяет в автоматическом режиме контролировать индексацию сайтов. Называется он DonBot. Если что непонятно, можете спросить в личке. спасибо за подробный ответ

Не зря старался 

Цитата
Владимир Павлович пишет: Тогда как же ПС найдет статьи старые? Они же из индекса могут вылететь, а на одном sitemap сильно не удержаться.

Если они вылетели то и на архиве они не продержаться! А что бы убрать вероятность вылета, нужно убрать дубли! 

Цитата
Владимир Павлович пишет: А если они не в индексе? То получается мы вообще лишаем возможности индексации их. По-моему с дублями надо бороться отнюдь не роботсом, а 301 редиректом.

То есть по Вашему лучше вообще сделать 301 редирект с архива??? Архив будет доступен для чтения, а в роботсе мы закроем только его видимость для роботов! Вы, уважаемый, если не "шарите" в теме, то идите читайте инструкции, а потом будете спорить...

Цитата
Heat пишет: ой бросайте вы этот дле, вообще не советую с ним работать, ломают направо и на лево, постоянно от них защиту держать, всегда на чеку. простите если оффтоп.

Так, а где не так?! Сейчас вон на ВП и Джумлу охота пошла... ломают, подбирают и т.д.