Yandex не обращает внимания на robots.txt
Страницы: 1
Yandex не обращает внимания на robots.txt
У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Код
User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3


Ваш роботс, а нужно


Код
User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>



И ждать месяц-полтора.
Изменено: Arte - 25 Июня 2011 14:27
Arte,

Спасибо большое
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:48 Профессиональное администрирование серверов 24/7. 
14:44 VulkanPartner 
13:52 Позиция в поисковой выдаче 
13:29 Adsense личный опыт 
13:27 Взаимопиар ВК 
13:24 Как убрать Яндекс метрику из page speed Google 
12:42 Лучшая рекламная сеть Traffic.ru! 
14:06 Change24.pro - обмен PM, BTC-E, Bitcoin, QIWI, WMZ, Payeer, Yandex, Банки 
14:04 Обменник Perfect Money, Payeer, OkPay, Приват24 
13:53 Услуги по рассылки спама Вконтакте 
13:40 Акция! Размещение статей на трастовых сайтах 
11:30 Предоставляю услуги по копированию лендингов 
11:06 Услуга по поднятию Тиц сайтов. Оплата единоразовая! 
10:11 Качественный прогон Хрумером всего 10 WMZ 
14:40 Почему нет новых вебмастеров? И почему обленились старые 
14:37 Госзакупки - продления домена за 100 т.р. 
14:32 2domains совсем обнаглели. Куда свалить? 
14:13 CPA Life 2017 – 12 Апреля в Санкт-Петербурге 
11:39 Система рейтинга и отзывов на ВП движок 
08:25 Продам аккаунт Яндекс.Диск с объемом 210 ГБ (навсегда) 
00:23 Надо с сервака парсить сайт один с разных IP