Здравствуйте! У меня такая проблема - в моем robots.txt прописано много правил, пример:
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-content/cache
Disallow: /wp-comments
Disallow: */comments
Disallow: /author/
Disallow: /cgi-bin
Disallow: /wp-includes/
Disallow: /page/
Disallow: /wp-login.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /category/
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /tag/
Disallow: /20*
Disallow: /*?*
Disallow: /*?
Disallow: /*.php
А во всех выдачах, и даже если я захожу через свой адрес в robots.txt показывает вот это:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
То-есть с яндекс и гугл работает с 1 по 3 строку, и последней - с sitemap.xml.
Из-за этого у меня много дублей статей.
Подскажите что с этим делать и как это исправит.
Заранее спасибо.
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-content/cache
Disallow: /wp-comments
Disallow: */comments
Disallow: /author/
Disallow: /cgi-bin
Disallow: /wp-includes/
Disallow: /page/
Disallow: /wp-login.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /category/
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /tag/
Disallow: /20*
Disallow: /*?*
Disallow: /*?
Disallow: /*.php
А во всех выдачах, и даже если я захожу через свой адрес в robots.txt показывает вот это:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
То-есть с яндекс и гугл работает с 1 по 3 строку, и последней - с sitemap.xml.
Из-за этого у меня много дублей статей.
Подскажите что с этим делать и как это исправит.
Заранее спасибо.
