Yandex не обращает внимания на robots.txt
Страницы: 1
Yandex не обращает внимания на robots.txt
У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Код
User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3


Ваш роботс, а нужно


Код
User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>



И ждать месяц-полтора.
Изменено: Arte - 25 Июня 2011 14:27
Arte,

Спасибо большое
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 26 апреля 2017 Яндекс выдача 
22:12 Google не удалось просканировать сайт 
21:38 Не идет трафик из Google на англоязычный сайт 
20:07 Помогите решить вопрос, нету трафика с гугла 
19:51 Adsense личный опыт 
19:19 Ошибка при валидации 
18:22 Partnerearn.net - прибыльная гемблинг партнерка 
05:34 Качественный прогон по трастовым сайтам и форумам. Рост ТИЦ, посещаемости и позиций. Множество отзывов, недорого + скидки 
22:54 Продам сообщества Вконтакте: готовый Бизнес с доходом (своя сетка) 
21:47 Парсинг сайтов|обработка данных|Сбор баз|беклинков для крауд-маркетинга 
21:41 Продам сайт на тему игры "Моя кофейня" 
21:23 Web-мастер (wordpress, joomla, dle, ucoz, modx, соц сети и прочие) 
20:29 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
19:13 Услуги и работа в ZennoPoster|Zebroid|KeyCollector|Content downloader 
23:09 Как сделать ПРОГНОЗ КЛЕВА 
22:51 Ищем не на чем сэкономить, а на чем заработать! 
21:29 Статьи с ошибками на медицинском сайте. Как влияют на продвижение ошибки? 
21:29 Советую вместо дом2 послушать аудиокнигу "Мани, или Азбука денег" Автор: Бодо Шефер 
18:32 Создание и продвижение пиратских сайтов 
18:14 Навеянные форумом картинки 
15:05 Где вы работаете онлайн (физическое нахождение вашего тела)?