Изменил robots.txt

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 13:28

Вот изменил robots.txt и сделал так
User-agent: *
Disallow: /cgi-bin
Disallow: /*print
Disallow: /user/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /*print
Disallow: /user/

Host: MySite.ru

Sitemap: mysite.ru/sitemap.xml

Все ли правильно? и можно ли использовать большие буквы в домене(в Host)? будет ли виден Host другим роботам или только Яндексу?

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:35

Цитата
Владимир Коломиец пишет: User-agent: *

Это разрешает индексацию всем поисковикам.

____________

Цитата
Владимир Коломиец пишет: User-agent: Yandex

А это только яше

Зачем у вас дважды повторяются одни и те же параметры?

Владимир Коломиец

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 13:37

А что тогда так?

User-agent: *
Disallow: /cgi-bin
Disallow: /*print
Disallow: /user/

Host: MySite.ru
Sitemap: mysite.ru/sitemap.xml

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:38

Вот правильный robots

Код
User-agent: * Disallow: /cgi-bin Disallow: /*print Disallow: /user/ Sitemap: <a href=\"http://site.ru/sitemap.xml\" target=\"_blank\">http://site.ru/sitemap.xml</a>

директива Host необязательна

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:39

Незабудьте заменить site.ru на ваш домен

Владимир Коломиец

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 13:44

Мне Host нужна т.к у меня хостинг дает стандартный домен, вида c12331.host.ru , и поисковики его индексируют, в службе поддержки сказали поставить Host и домен

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:58

тогда

Код
User-agent: * Disallow: /cgi-bin Disallow: /*print Disallow: /user/ Sitemap: http://yourgame.pp.ua/sitemap.xml Host: yourgame.pp.ua

насколько я понял сайт в подписи

Изменено: Explos1on - 27 Декабря 2011 13:59

Владимир Коломиец

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 14:32

Спасибо, тему можно закрывать

Олег

Сообщений: 19 Регистрация: Дек 2011

28 Декабря 2011 08:05

Цитата

Explos1on пишет:
Вот правильный robots

Код
User-agent: * Disallow: /cgi-bin Disallow: /*print Disallow: /user/ Sitemap: http://site.ru/sitemap.xml

директива Host необязательна

директива host обязательна, используется только для яндекса и говорит роботу о том какой домен надо индексировать

Новые темы	Объявления	Свободное общение
17:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 17:16 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом) 17:08 SEO под нейро 17:05 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 16:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 13:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:51 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов	17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 16:49 Nexulume.com Обменник без AML и KYC 15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 11:12 AllCharge.online. Современный, быстрый и надёжный обменник 04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 20:41 Bankomat001 - Сервис обмена электронных валют	17:26 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 16:38 Отвратительное поведение 15:56 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 12:48 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 11:00 Кто может дать инвайт на WebMasters? 05:11 Точные прогнозы на футбол 17:58 Список обновленных тем пуст...

Новые темы

Объявления

Свободное общение

17:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?
17:16 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом)
17:08 SEO под нейро
17:05 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing
16:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
13:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
12:51 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов

17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram
16:49 Nexulume.com Обменник без AML и KYC
15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.
11:12 AllCharge.online. Современный, быстрый и надёжный обменник
04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
20:41 Bankomat001 - Сервис обмена электронных валют

17:26 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
16:38 Отвратительное поведение
15:56 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
12:48 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
11:00 Кто может дать инвайт на WebMasters?
05:11 Точные прогнозы на футбол
17:58 Список обновленных тем пуст...

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt