Ну вот я хочу избавится от этих дублей я в роботе прописал /page/ для всех пс не помогло написал google bot /page/ и все остальные не нужные страницы, а они все равно есть в поиске и из за них мои главные страницы в фильтре. Я не знаю как с этим бороться, поэтому и прошу помощи, как правильно сделать...

Цитата
Kanzaki пишет: Если они под фильтром значит сними какая то проблема!

У меня проблема в том, что Гугл игнорирует Robots.txt

Вот пример:





При том, что Яша уже давно все выкинул, что по дублям, а гуглу очень нравится, то что под запретом, но сует в фильтры, вместо того чтоб исключить.

Kanzaki,
Я бы так не сказала бы, из-за того, что гугл бережет то, что он должен выкинуть, необходимые страницы хуже ранжируются. Хотя да бывает, что этот милый ПС выкидывает все это и не под фильтром 95-100%, но не на долго, максимум на пару дней.

У вас CMS Dle, а у Dle дубли страниц как пить дать. Роботс тхт помагает лиш частично. Но есть два выхода:
1. Удалить на сайте вывод тегов и келендаря.
2. В панели Гоши Вебмастер ручками улалять дубли, те страницы которые под фильтром.
Но второй вариант геморой

Цитата
Kanzaki пишет: Не несите чушь Если они под фильтром значит сними какая то проблема! _http://www.cy-pr.com/analysis/www.world-art.ru вот вам пример 1,010,000 / 5% и не чего И дублей при этом у него предостаточно!

920 / 8 % у меня вот так. Новостей в индексе из 250 около 30 остальное все мусор. То есть 200 новостей уникального текста я просто так писал ? )))

404,
Помимо того, что запрет прописан в роботс, все данные блоки и много другое закрыто тегами, т.к. они необходимы для пользователей, не не нужны для роботов с ПС. Да и только Гугл игнорирует запреты, с остальными все отлично.