_http://help.yandex.ru/webmaster/?id=996567#996574

Цитата

Директива Host. Если у вашего сайта есть зеркала, специальный робот зеркальщик определит их и сформирует группу зеркал вашего сайта. В поиске будет участвовать только главное зеркало. Вы можете указать его у всех зеркал при помощи robots.txt, используя директиву 'Host' и определив в качестве ее параметра имя главного зеркала. Директива 'Host' не гарантирует выбор указанного главного зеркала, тем не менее, алгоритм при принятии решения учитывает ее с высоким приоритетом. Пример: Цитата #Если www.glavnoye-zerkalo.ru главное зеркало сайта, то #robots.txt для всех сайтов из группы зеркал выглядит так User-Agent: * Disallow: /forum Disallow: /cgi-bin Host: www.glavnoye-zerkalo.ru Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow'). Аргументом директивы 'Host' является доменное имя с номером порта (80 по умолчанию), отделенным двоеточием. Цитата #Пример корректно составленного robots.txt, при обработке #которого директива Host учитывается User-Agent: * Disallow: Host: www.myhost.ru Тем не менее директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана. Важно: Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая. Пример: Цитата Host: myhost.ru # используется User-agent: * Disallow: /cgi-bin User-agent: Yandex Disallow: /cgi-bin Host: www.myhost.ru # не используется Важно: параметр директивы Host обязан состоять из одного корректного имени хоста (то есть соответствующего RFC 952 и не являющегося IP-адресом) и допустимого номера порта. Некорректно составленные строчки 'Host:' игнорируются. Цитата # Примеры игнорируемых директив Host Host: www.myhost-.ru Host: www.-myhost.ru Host: www.myhost.ru:100000 Host: www.my_host.ru Host: .my-host.ru:8000 Host: my-host.ru. Host: my..host.ru Host: www.myhost.ru/ Host: www.myhost.ru:8080/ Host: _http://www.myhost.ru Host: 213.180.194.129 Host: www.firsthost.ru,www.secondhost.ru Host: www.firsthost.ru www.secondhost.ru Примеры использования директивы Host: Цитата # domen.myhost.ru является главным зеркалом # www.domen.myhost.ru, тогда корректное использование # директивы Host такое: User-Agent: * Disallow: Host: domen.myhost.ru Цитата # domen.myhost.ru является главным зеркалом # www.domen.myhost.ru, тогда некорректное использование # директивы Host такое: User-Agent: * Disallow: Host: myhost.ru

Вот, к примеру, я загоняю в супру любой сайт с www и в результате ссылки в индексе далее загоняю сайт в супру без www и все равно все ссылки в индексе. А у меня сайт только без www супра показывает все страницы в индексе, а вот без www 0 страниц. Как объединить все проиндексированные страницы и www и без www

Цитата
Lazun429 пишет: 301 редирект сделайте с домена с www на домен без www, через несколько апов зеркало переклеится.

И когда я буду делать запрос в супру с www и без www то все страницы будут показываться в индексе?
Хорошо, тогда получается мне нужно сделать вот так?

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_HOST} ^site\.ru$ [NC]
RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

У вас скорей всего домены еще даже и не склеены (окно без www считается копией сайта, поэтому и не в индексе), нужно или ждать склейки или пробовать ставить редирект, после того как поставите редирект, страницы с WWW постепенно начнут выпадать из индекса а сраницы без WWW появляться, будет момент когда сайт упадет в полуную яму, но потом все должно успокоится. А лучше всетаки прописать в robots основное окно и ждать склейки, роботы склейщики редко на волю выпускаются, иногда только раз в год.

Вот так делай:
User-Agent: *
Disallow: /
Host: myhost.ru

Цитата
Lazun429 пишет: Ааа ну конечно тогда у вас сайт с WWW сейчас индексируется, все правильно ставьте основное окно без WWW, и жди

Большое спасибо за поможение. Сейчас все сделаю как надо.

Цитата
Lazun429 пишет: Цитата ryudzaki пишет: Вот так делай: User-Agent: * Disallow: / Host: myhost.ru Не надо так шутить, ведь человек и правда может так сделать.

Я нее за Disallow: / поблагодарил