Yandex не обращает внимания на robots.txt

Сообщений: 413 Регистрация: Янв 2011

25 Июня 2011 14:19

У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Бан Голд Казино Форум

Arte

Сообщений: 1458 Регистрация: Янв 2011

25 Июня 2011 14:25

Код

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3

Ваш роботс, а нужно

Код

User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>

И ждать месяц-полтора.

Изменено: Arte - 25 Июня 2011 14:27

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

mix2706 Сообщений: 413 Регистрация: Янв 2011	#3 25 Июня 2011 15:00 Arte, Спасибо большое

Похожие темы:

11.02.2024 11:03	Yandex N.V. продает бизнес "Яндекса"
29.09.2023 20:34	YandexGPT не убьёт классический поиск по интернету?
27.06.2023 19:21	Новая возможность: нейросеть Яндекса YandexGPT научилась кратко пересказывать текст
19.06.2023 16:30	"Яндекс" откроет нейросеть YandexGPT для тестирования
22.02.2019 22:18	Обновление "Внешних ссылок" в webmaster.yandex

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
19:50 Стоит ли добавлять сайт в Rambler топ 100? 12:37 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 12:14 Продвижение в ТОП-1 Яндекс при помощи лучших ПФ в РФ 15:19 Refmate — сервис для взаимного обмена ссылками 13:06 Продвижение по ключам 09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options	16:49 Обменяй крипту без стресса – LupiBit.kg 15:45 GoodsMoney.io 15:39 swapsfera.com 12:52 Volna.money 10:50 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 10:01 PlayPay.biz - Лутбоксы с товарами, играми 08:32 Продам сайт финансовой тематики (банки, мфо) срочно с доменом!!!	16:57 Всего п онемногу 12:45 Куплю проигрышные букмекерские аккаунты 11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир...

Вверх