И меня подобный вопрос товарищи знающие... Запилил сайт на WP, текста 100% уникальные и постов было очень много! Пошла по тихому индексация...где то 75% всех страниц и тут мне взбрело в голову полезть в роботс.тхт намудрил вот это :

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Host: **********.ru
 
User-agent: Googlebot
Allow: *.css
Allow: *.js
Allow: /wp-includes/*.js
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Disallow: /*?
 
Sitemap: ********.ru/sitemap.xml


Ну сделал так сделал... На следующий день из Яши вылетели все страницы кроме одной которая обозначалась так "/"(к слову из Гоши пропало только 10-12 страниц), подождал несколько дней, вчера вечером вернул в роботсе как было и сегодня утром опять индескация бешеным темпом пошла, подскажите что и где не так сделал? Заранее спасибо  

Цитата
Алекс пишет: Всем привет, сделал дополнительную навигацию по тегам, вот теперь вопрос,стоит ли скрывать их в файле роботс.И 2 вопрос, сайт у меня содержит файлы для разгрузки, как выть с ними, скрывать их в роботсе или не стоит?

Конечно же, закрывайте теги от индексации.