Yandex не обращает внимания на robots.txt

Сообщений: 413 Регистрация: Янв 2011

25 Июня 2011 14:19

У меня в robots.txt Стоит

User-agent: Yandex

Host: treyd.org

Но Он мне Домен без www Сделал Зеркалом сайта с www , что это за игнор ?

Бан Голд Казино Форум

Arte

Сообщений: 1458 Регистрация: Янв 2011

25 Июня 2011 14:25

Код

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html

User-agent: Yandex 

Host: treyd.org

Crawl-delay: 3

Ваш роботс, а нужно

Код

User-agent: Yandex 
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Host: treyd.org

User-agent: *
Disallow: /user/
Disallow: /subaction=userinfo
Disallow: /do=register
Disallow: /do=lostpassword
Disallow: /do=stats
Disallow: /do=pm
Disallow: /grab.php
Disallow: /ban.html
Sitemap: <a href=\"http://www.treyd.org/sitemap.xml\" target=\"_blank\">http://www.treyd.org/sitemap.xml</a>

И ждать месяц-полтора.

Изменено: Arte - 25 Июня 2011 14:27

Лучший хостинг - недорогие услуги хостинга, VPS/VDS.

Размещу ваши тематические статьи "Услуги" бесплатно. ТИЦ 20 PR2

mix2706 Сообщений: 413 Регистрация: Янв 2011	#3 25 Июня 2011 15:00 Arte, Спасибо большое

Похожие темы:

11.02.2024 11:03	Yandex N.V. продает бизнес "Яндекса"
29.09.2023 20:34	YandexGPT не убьёт классический поиск по интернету?
27.06.2023 19:21	Новая возможность: нейросеть Яндекса YandexGPT научилась кратко пересказывать текст
19.06.2023 16:30	"Яндекс" откроет нейросеть YandexGPT для тестирования
22.02.2019 22:18	Обновление "Внешних ссылок" в webmaster.yandex

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
18:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:12 Покупные ссылки 12:57 Rotapost прикрыли! Чем пользоваться? 17:00 Стоит ли добавлять сайт в Rambler топ 100? 15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	20:07 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 16:31 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 15:37 Продажа лидов: форекс, инвестиции, нативка, гемблинг, чарджбеки 14:49 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 01:31 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 01:07 Full-Stack Developer — Сайты и Софт любой сложности \| Developer Websites and Soft of any Complexity! 20:42 E-currency.exchange — ваш помощник в мире обменов	18:35 С юмором по жизни! 22:59 Про мясо 15:07 Добро пожаловать в цифровой мир... 22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях 10:10 накрутка трафика в SimilarWeb 16:50 Компьютерная мышь 23:03 Точные прогнозы на футбол

Вверх