Цитата
Склеиваем сайт с www и без www, Как правильно склеить

Через роботс. АП зеркальщика раз в 3 месяца, если не ошибаюсь. Нужно подождать

Убрать User-agent: Yandex

Цитата
почему?

Потому что поисковикам, которым нужен этот параметр - его просто схавают, а которым не нужен - проигнорируют.

Не забывай, что хост нужен не только яше

Цитата
то подстроившись под остальную бесполезную шалупонь ты рискуешь словить косяк от того, что реально может принести трафик.

Че? Это уже параноя

Поглядел на всех известных ресурсах рунета.
Там вообще почти все роботы пустые, во многих даже хост не указан.
В основном только страницы запрещены которые могут за дубликат счесть заблочены как у меня и user-agent: *, больше ничего.
У одного дак вообще пздец чо:

Код

User-agent: Yandex Disallow: /accounts/ Disallow: /entities/ Disallow: /blog/2007/ Disallow: /blog/2008/ Disallow: /blog/2009/ Disallow: /blog/2010/ Disallow: /blog/2011/ Disallow: /blog/2012/ Disallow: /blog/2013/ Disallow: /blog/2015/ Disallow: /blog/2016/ Disallow: /blog/2017/ Disallow: /blog/2018/ Disallow: /blog/2019/ Disallow: /blog/2020/ Disallow: /blog/new/ Disallow: /blog/popular/ Disallow: /blog/best/ Disallow: /post_to_lj/ Disallow: /entities/ Disallow: /image/best/ Disallow: /image/popular/ Disallow: /image/new/ Disallow: /video/best/ Disallow: /video/popular/ Disallow: /video/new/ Disallow: /search/ Disallow: /? Disallow: /*?by Disallow: /*?ord Disallow: /*?view Host: kanobu.ru User-agent: * Disallow: /accounts/ Disallow: /entities/ Disallow: /blog/2007/ Disallow: /blog/2008/ Disallow: /blog/2009/ Disallow: /blog/2010/ Disallow: /blog/2011/ Disallow: /blog/2012/ Disallow: /blog/2013/ Disallow: /blog/2015/ Disallow: /blog/2016/ Disallow: /blog/2017/ Disallow: /blog/2018/ Disallow: /blog/2019/ Disallow: /blog/2020/ Disallow: /blog/new/ Disallow: /blog/popular/ Disallow: /blog/best/ Disallow: /post_to_lj/ Disallow: /entities/ Disallow: /image/best/ Disallow: /image/popular/ Disallow: /image/new/ Disallow: /video/best/ Disallow: /video/popular/ Disallow: /video/new/ Disallow: /search/ Disallow: /? Disallow: /*?by Disallow: /*?ord Disallow: /*?view Sitemap: <a href=\"http://kanobu.ru/sitemap.xml\" target=\"_blank\">http://kanobu.ru/sitemap.xml</a>

Классно Вы развили тему, только ответа я так и не получил.
Мой роботс:

User-agent: Yandex
Crawl-delay: 10
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Host:bambi.ck.ua

User-agent: *
Crawl-delay: 10
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/

Sitemap: http://bambi.ck.ua/sitemap.xml


Все таки думаю что это правильно.