Yandex не обращает внимания на robots.txt
Страницы: 1
Yandex не обращает внимания на robots.txt
У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Код
User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3


Ваш роботс, а нужно


Код
User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>



И ждать месяц-полтора.
Изменено: Arte - 25 Июня 2011 14:27
Arte,

Спасибо большое
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
03:37 Чудеса с индексацией. 
02:38 Подскажите как сделать рамку правильно 
02:31 Adsense личный опыт 
01:28 Сайт упал в позициях яндекса 
01:26 Кракозябры вместо поисковых запросов в Яндекс Метрике 
01:24 Верстка бесплатно (для портфолио) 
01:21 Нужна помощь в установке шаблона 
02:52 Требуется журналист на постоянную работу 
01:25 SocksHub.net - proxy, которые подходят всем 
23:17 Требуется журналист на постоянную работу 
22:55 Прогон сайта хрумером по профилям, свежие базы ТИЦ 10 и более! Недорого! 
22:00 скромный mp3-портальчик 
21:59 Сервис по YouTube, Вконтакте, Twitter, Instagram, Facebook, G+, ОД 
21:56 Бесплатные консультации, аудиты. Раскрутка сайтов - опыт с 2005г. 
03:00 Госзакупки - продления домена за 100 т.р. 
02:03 Бесплатный хостинг. 
01:14 Интернет-магазин резко перестал приносить прибыль 
01:13 Совет новичку! 
00:01 "Почта России" выявила мошенников, отправлявших клиентам кирпичи вместо компьютеров 
00:00 Посоветуйте фильм ужасов 
23:36 Статьи мертвый груз: что делаете?