Запрос в Гугле: site: www.site.ru - выдает безумное количество страниц: 66 000. В яндексе проиндексировано 10 000 страниц, что близко к действительности. Раньше в Гугле было 22 000 тысячи - и я активно запрещал к индексации в роботс.тхт разные страницы с дополнительными параметрами, косяки CMS -т.е. различные дубли. Дошло до 15 тясыч, а потом раз - и 66 тясяч. У меня роботс.тхт - сплошные запреты. А гугл их спокойно игнорирует. Например, давно запретил, уже год скоро, всякие rss - atom, сейчас смотрю достаточно много таких файлов в индексе (в группе запрещенных для индексирования - таких тоже полно, т.е они реально запрещаются, но все равно остается большое количество). А сейчас 66 000 документов - уже не разберешься, что за страницы, но реально большинство из них запрещено к индексированию. Гуглу наплевать! Удалять каждую страничку через инструмент веб-панели - с ума сойдешь, да и не удаляет он опять, во всяком случае предложенными там каталогами. Как очистить в этой ситуации индекс от мусора. Почему вдруг стало 66 тысяч, когда все уменьшалось и запрещалось (глазами я не нашел каких-то новых Url, полно старого мусора, который почему-то вновь появился) ?