Всем привет сегодня зашел в Яндекс вэбмастер и был неприятно удивлен когда увидел что одна из страниц выпала из индекса по причине того что она является дублем другой страницы. Вот как это выглядит.
[img](затёр)/images/duble.png[/img]



Теперь хочу спросить у вас если сравнить эти две страницы

1. (затёр)/articles.php?postid=67-  исключенная из индекса страница - Дубль страницы 2

2. (затёр)/articles.php?postid=98 -

Где Яндекс смог увидеть что это две одинаковые статьи я понять не могу может чего не понимаю. С таким подходом можно все сайты отключить от поиска и выдавать только коммерческие сайты или сайты с рекламной сети Яндекса.