Цитата

Visual Vortex пишет: А у меня похожая проблема! тоже очень много лишних страниц (одинаковых) к примеру у меня на сайте 500 статей и 100 пользователей, теперь получается такой глюк: если адрес новости выглядит так "мойсайт.ру/Новость" , то если сначала зайти в профиль пользователя а потом перейти на ссылку данной новости то адрес выглядит уже так "мойсайт.ру/пользователь/Новость" тоесть получается что при регистрации новых пользователей у меня на сайте как бы появляется 500 новых страниц! ужас Как это убрать? Боюсь попасть под фильтры как Яндекса так и ГУГЛ! Или быть может мне открыть новую тему по этому вопросу или если есть уже такая дайте дайте ссылку Ах да, кстати - сайт на ДЛЕ

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin.php
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=search
Disallow: /index.php?do=pm
Disallow: /engine/
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /user/
Disallow: /language/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /index.php?subaction=newposts
Disallow: /newposts/
Disallow: /*print
Disallow: /*page/
Disallow: /templates/
Disallow: /tags/
Disallow: /engine/dude/index/leech_out.php?* // у меня стоит личер, Яндекс тоже преподнёс сюрпрайз в виде индексирования всех исходящих ссылок, как ссылок на внутряки, несмотря на запрет "engine/".

Host: вашсайт.ру

Цитата
bazilio пишет: У меня та же проблема хотя движок самописный. И я еще кое где ошибки допустил, по всему сайту ссылки по разному написал примерно так: /photo/1761/ /photo/1761 теперь исправляю, но в яндексе теперь 4000 видит страниц, а реально 2000 интересно один из вариантов можно от роботов закрыть, но чтоб другой был виден поисковикам?

/photo/1761*
Хотя, если это папка, её содержимое не будет индексироваться.