Yandex не обращает внимания на robots.txt

Сообщений: 413 Регистрация: Янв 2011

25 Июня 2011 14:19

У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Бан Голд Казино Форум

Arte

Сообщений: 1458 Регистрация: Янв 2011

25 Июня 2011 14:25

Код

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3

Ваш роботс, а нужно

Код

User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>

И ждать месяц-полтора.

Изменено: Arte - 25 Июня 2011 14:27

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

mix2706 Сообщений: 413 Регистрация: Янв 2011	#3 25 Июня 2011 15:00 Arte, Спасибо большое

Похожие темы:

11.02.2024 11:03	Yandex N.V. продает бизнес "Яндекса"
29.09.2023 20:34	YandexGPT не убьёт классический поиск по интернету?
27.06.2023 19:21	Новая возможность: нейросеть Яндекса YandexGPT научилась кратко пересказывать текст
19.06.2023 16:30	"Яндекс" откроет нейросеть YandexGPT для тестирования
22.02.2019 22:18	Обновление "Внешних ссылок" в webmaster.yandex

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
01:46 Настроить поставщиков в программе E-Trade PriceList Importer 15:26 Найти элемент в коде 11:51 Bropush - твой бро в монетизации сайта push-уведомлениями 03:12 Сайты-копипасты 21:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 09:59 Ошибка после размещения кода HTML! 15:34 Adtrafico - Правильная партнёрская сеть под бурж трафик	20:17 4G/LTE Mobile Proxy 30+ geo 18:03 Обмен без AML и верификации Aztor.pro 17:30 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 16:34 Phoenix - Выгодный обмен электронных валют, без верификации 16:11 ZennoPoster - софт №1 для автоматизации любых SEO задач! 13:30 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 13:22 Burzh.top\|Партнерская программа под любой вид трафика (email, спам, УБТ)	06:27 Видимо, похороны СУПРа уже прошли как-то по-тихому 12:48 Каспкрски ОС 11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 01:05 Точные прогнозы на футбол 14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 15:24 Добро пожаловать в цифровой мир... 22:58 У меня дикая просадка по РСЯ за последние 3 суток

Вверх