Yandex не обращает внимания на robots.txt
Страницы: 1
Yandex не обращает внимания на robots.txt
У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Код
User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3


Ваш роботс, а нужно


Код
User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>



И ждать месяц-полтора.
Изменено: Arte - 25 Июня 2011 14:27
Arte,

Спасибо большое
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
04:38 Adsense личный опыт 
04:37 Что делать? Теряются полученные очки в Alexa 
04:32 "Рамблеру" исполнилось 20 лет 
03:44 Этапы оптимизации и продвижения сайта 
22:24 Апдейт 27.09.16 
20:20 Нужна помощь по тегам DLE 
18:33 Profitco - гемблинговая ПП! Проверенные бренды, парк-домены, выплаты каждую неделю, геолокация по ip 
01:06 Прогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов 
00:59 Статьи на выгодных условиях, антикризисные цены, быстрое выполнение, бонусы. 
00:24 Продвижение в социальных сетях: Вконтакте, Одноклассники, Твиттер, Instagram, YOUTUBE, Facebook, Мой мир. 
00:18 Требуется веб программист - удаленно - оплата труда. 
00:04 Сделаю flash и html5 баннеры 
22:41 Размещу ваши статьи на старом новостном сайте 
21:33 Копирайт и SEO-копирайт - всё будет all right 
01:12 Киберспорт официально признан видом спорта в России 
00:59 "Амнистия" 2016 
00:29 Посоветуйте партнёрскую программу 
00:05 Кнопка tweeter для wordpress 
23:57 "Блогосфера" отторгается? 
21:10 Чем переводить на английский? 
21:05 Копирование названий и ссылок на видео с ютуб