Изменил robots.txt

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 13:28

Вот изменил robots.txt и сделал так
User-agent: *
Disallow: /cgi-bin
Disallow: /*print
Disallow: /user/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /*print
Disallow: /user/

Host: MySite.ru

Sitemap: mysite.ru/sitemap.xml

Все ли правильно? и можно ли использовать большие буквы в домене(в Host)? будет ли виден Host другим роботам или только Яндексу?

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:35

Цитата
Владимир Коломиец пишет: User-agent: *

Это разрешает индексацию всем поисковикам.

____________

Цитата
Владимир Коломиец пишет: User-agent: Yandex

А это только яше

Зачем у вас дважды повторяются одни и те же параметры?

Владимир Коломиец

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 13:37

А что тогда так?

User-agent: *
Disallow: /cgi-bin
Disallow: /*print
Disallow: /user/

Host: MySite.ru
Sitemap: mysite.ru/sitemap.xml

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:38

Вот правильный robots

Код
User-agent: * Disallow: /cgi-bin Disallow: /*print Disallow: /user/ Sitemap: <a href=\"http://site.ru/sitemap.xml\" target=\"_blank\">http://site.ru/sitemap.xml</a>

директива Host необязательна

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:39

Незабудьте заменить site.ru на ваш домен

Владимир Коломиец

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 13:44

Мне Host нужна т.к у меня хостинг дает стандартный домен, вида c12331.host.ru , и поисковики его индексируют, в службе поддержки сказали поставить Host и домен

Explos1on

Сообщений: 251 Регистрация: Май 2010

27 Декабря 2011 13:58

тогда

Код
User-agent: * Disallow: /cgi-bin Disallow: /*print Disallow: /user/ Sitemap: http://yourgame.pp.ua/sitemap.xml Host: yourgame.pp.ua

насколько я понял сайт в подписи

Изменено: Explos1on - 27 Декабря 2011 13:59

Владимир Коломиец

Сообщений: 130 Регистрация: Сен 2010

27 Декабря 2011 14:32

Спасибо, тему можно закрывать

Олег

Сообщений: 19 Регистрация: Дек 2011

28 Декабря 2011 08:05

Цитата

Explos1on пишет:
Вот правильный robots

Код
User-agent: * Disallow: /cgi-bin Disallow: /*print Disallow: /user/ Sitemap: http://site.ru/sitemap.xml

директива Host необязательна

директива host обязательна, используется только для яндекса и говорит роботу о том какой домен надо индексировать

Новые темы	Объявления	Свободное общение
04:55 interesting for a very long time 01:57 Стоит ли заморачиваться с мейл ру ? 00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 23:11 APK на паузе. Google убивает быстрый конверт 16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:09 А+ в MAX: Квитанция на получение денег	02:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 01:49 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 17:21 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 16:10 JustProxy.Biz - Резидентные прокси без ограничения по трафику 14:56 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:01 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 12:09 MirExchange24.io - обмен криптовалют в крупнейших городах мира	06:03 Точные прогнозы на футбол 22:52 С юмором по жизни! 21:49 Панель Кнопки соцсетей 09:28 молодильные яблоки и живая вода 21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 15:29 Компьютерная мышь 12:46 Актуально для тех кто хочет заработать в интернете

Новые темы

Объявления

Свободное общение

04:55 interesting for a very long time
01:57 Стоит ли заморачиваться с мейл ру ?
00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту.
23:11 APK на паузе. Google убивает быстрый конверт
16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
15:09 А+ в MAX: Квитанция на получение денег

02:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
01:49 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси!
17:21 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные
16:10 JustProxy.Biz - Резидентные прокси без ограничения по трафику
14:56 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
13:01 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
12:09 MirExchange24.io - обмен криптовалют в крупнейших городах мира

06:03 Точные прогнозы на футбол
22:52 С юмором по жизни!
21:49 Панель Кнопки соцсетей
09:28 молодильные яблоки и живая вода
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
15:29 Компьютерная мышь
12:46 Актуально для тех кто хочет заработать в интернете

05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt
29.07.2018 17:42	Запрет страниц в файле robots.txt
04.07.2018 23:26	Вопрос по robots
03.01.2018 17:05	Прошу помочь настроить Robots.txt