Yandex не обращает внимания на robots.txt

Сообщений: 413 Регистрация: Янв 2011

25 Июня 2011 14:19

У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Бан Голд Казино Форум

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Arte

Сообщений: 1461 Регистрация: Янв 2011

25 Июня 2011 14:25

Код

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3

Ваш роботс, а нужно

Код

User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>

И ждать месяц-полтора.

Изменено: Arte - 25 Июня 2011 14:27

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

mix2706 Сообщений: 413 Регистрация: Янв 2011	#3 25 Июня 2011 15:00 Arte, Спасибо большое

Похожие темы:

28.02.2017 18:48	Индексация обратных ссылок на свой сайт в системе Yandex
23.11.2016 17:57	Обновление "Внешних ссылок" в webmaster.yandex
13.11.2015 07:16	Yandex прикрутил к субдомену URI основного домена !?
10.10.2015 10:42	Платные ссылки станут негативным фактором в ранжировании Яндекса (Paid Links Will Be A Negative Ranking Factor for Yandex)
04.09.2015 17:21	Проверка индексации Yandex

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
02:50 301 или 302 редирект. Стоит ли бить тревогу? 01:46 Подтверждение в AdSense 01:15 гугл топ 10 01:09 Нужен ли рамблер 01:02 Отсутствует трафик с гугл картинок 00:21 Сайт упал в позициях яндекса 00:19 Как вывести сайт из "соплей" Google?	02:44 Копирайтинг, Рерайтинг, СЕО - от 80/1000 00:23 Трафик по ключевым словам из поисковиков 22:29 Вы хотите ТОПов? Их есть у меня! 17:02 Профильный прогон 200 рублей, ТИЦ от 10, проверен Checktrust 16:53 Верстка сайта 01:30 Пишу небольшие программки на Python за пиво. 21:30 Услуги по наполнению сайтов уникальным контентом	03:30 Ссылочное ранжирование еще живо? 02:39 Вывод в ТОП Google. 30 вечных ссылок с PR9 02:37 0.0006 BTC в сутки за регистрацию 00:59 На telderi мошенники 00:34 Программа для накрутки трафика и поведенческих факторов.До 10 000 трафика в сутки. 23:16 SEO BOSS 22:53 Опять подняли цены на ru*шки ?

Вверх