Я знала, что вордпресс делает дубликаты статей, но чтобы столько!
Мне стало интересно, по каким ссылкам, где можно будет увидеть, допустим, мой материал "Правильный robots.txt для WordPress"? При условии, что он будет помещен в категорию "Моя web-мастерская" в раздел "Индексация сайта". Метка у этого материала такая же - индексация сайта. Итак, поехали.

1. Анонс статьи на главной - URL САЙТА/ Кликнув на ссылку "Читать далее", мы увидим его полный адрес http://olejnikova.ru/2011/01/03/pravilnyj-robots-txt-dlya-wordpress/ Когда его вытеснят другие материалы, он "переползет" на вторую страницу, на третью и так далее, то есть найти этот материал можно будет по адресу URL САЙТА/page/№страницы/

2. Анонс статьи в категории "Моя веб-мастерская" http://olejnikova.ru/category/webworkshop/. Как и в предыдущем варианте, при появлении новых материалов, этот будет оттеснен на страницы и найти его можно будет по адресу URL САЙТА/category/webworkshop/page/№ страницы/

3. Анонс статьи в разделе (рубрике-подкатегории - назвать можно как угодно, но понятно, что при древовидной системе меню, это тот раздел, который находится на ступеньку ниже категории), который я назвала "Индексация сайта" URL САЙТА/category/webworkshop/subscripting-the-site/ Ситуация с новыми материалами аналогична предыдущим - материал здесь тоже прописывается навсегда, лишь со временем он уходит все дальше и дальше вглубь сайта, меняя номер страницы. Адрес, где его можно будет увидеть, такой: URL САЙТА/category/webworkshop/subscripting-the-site/page/№ страницы/

4. Анонс статьи в Календаре. Если я поставлю виджет "Календарь", то смогу найти эту статью по адресу URL САЙТА/2011/01/03/

5. Анонс статьи в Архиве. При установке виджета "Архив", появится список по месяцам и эту статью можно будет увидеть по адресу URL САЙТА/2011/01/

6. Анонс статьи в Комментариях: URL САЙТА/2011/01/03/pravilnyj-robots-txt-dlya-wordpress/#respond

7. Анонс статьи в Ленте новостей (RSS записей) URL САЙТА/feed/

8. Анонс статьи в комментариях к Ленте новостей URL САЙТА/comments/feed/

9. Анонс статьи по тэгу (чем больше будет под статьей тэгов,тем больше будет дубликатов) http://olejnikova.ru/tag/indeksaciya-sajta/ Я раньше думала, если к материалу поставить несколько меток, то это ох как здорово. А когда увидела, что стоит нажать на такую метку, как увидишь свой материал, а если этих меток много, то материал будет показан по каждой, то сразу поняла, почему мои страницы разрастаются в геометрической прогрессии.

10. Полный текст по результатам поиска URL САЙТА/?s=%D0%9F%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9+robots.txt+%D0%B4%D0%BB%D1%8F+WordPress

Ссылки на этот материал будут также в Карте сайта сразу в двух местах - в категории "Моя web-мастерская" и подкатегории "Индексация сайта"

Во всех случая, пройдя по ссылке "Читать далее", вы увидите полный текст страницы по адресу URL САЙТА/2011/01/03/pravilnyj-robots-txt-dlya-wordpress/#more-10898

Вполне допускаю, что статья может появиться еще где-то, но пока я нашла только такие варианты.
Теперь нужно определить, что из всего этого "добра" можно оставить и дать возможность поисковикам проиндексировать, а что нужно закрыть от индексации в обязательном порядке. Принцип "чему больше, тем лучше", тут не катит, большое количество дублированных материалов не нравится ни Гуглу, ни Яндексу и они делают все, чтобы закрыть все лазейки, позволяющие сайтам тиражировать одну и ту же статью по разным адресам.