Файл робот robots.txt

Сообщений: 22 Регистрация: Мар 2012

10 Августа 2017 18:57

robots.txt Не знаю как теперь в нем прописать? ссылки поменяла с http:// на https://

User-Agent: *
Allow: /
Host: //мойсайт.ru
Sitemap: //мойсайт.ru/sitemap.xml

Так правильно?

Изменено: Natalia LynxPlace - 10 Августа 2017 18:57

Александр Жилецкий

Сообщений: 58 Регистрация: Апр 2013

10 Августа 2017 19:43

User-Agent: *
Allow: /
Host: https://мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml

masterrabot

Сообщений: 1752 Регистрация: Янв 2016

10 Августа 2017 19:50

Там где Host протокол https:// писать не надо

User-Agent: *
Allow: /
Host: мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml

Александр Жилецкий

Сообщений: 58 Регистрация: Апр 2013

10 Августа 2017 20:07

Цитата
masterrabot пишет: Там где Host протокол https:// писать не надо User-Agent: * Allow: / Host: мойсайт.ru Sitemap: https://мойсайт.ru/sitemap.xml

Пример корректно составленного robots.txt, при обработке которого директива Host учитывается:
User-Agent: *
Disallow: /
Host: https://www.myhost.ru

Директива Host должна содержать: Протокол HTTPS, если зеркало доступно только по защищенному каналу. Если вы используете протокол HTTP, то его указывать необязательно.

Смотрите источник: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru

Изменено: Александр Жилецкий - 10 Августа 2017 20:10

Coder

Сообщений: 10609 Регистрация: Мар 2013

10 Августа 2017 20:29

Цитата
Александр Жилецкий пишет: Disallow: /

При такой инструкции весь сайт запрещен у индексации

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Eye

Сообщений: 22227 Регистрация: Май 2011

10 Августа 2017 23:58

Цитата
masterrabot пишет: Там где Host протокол https:// писать не надо

Надо! При ssl надо Host: https://сайт.ру

Цитата
Александр Жилецкий пишет: Disallow: /

Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

masterrabot

Сообщений: 1752 Регистрация: Янв 2016

11 Августа 2017 00:02

Цитата
Александр Жилецкий пишет: Директива Host должна содержать: Протокол HTTPS

Цитата
Eye пишет: Надо! При ssl надо Host: https://сайт.ру

Признаю свою ошибку, надо, надо Host: https://сайт.ру

Принципал

Сообщений: 1305 Регистрация: Июл 2012

11 Августа 2017 01:28

Цитата
Natalia LynxPlace пишет: Так правильно?

При таких инструкциях как в примере, я б вообще указал пустое содержимое и не ломал голову, сайт будет чувствовать себя превосходно

WGN

Сообщений: 9907 Регистрация: Июн 2015

11 Августа 2017 04:25

Цитата
Eye пишет: Не слушайте его. Не пишите такую инструкцию.

Ага что то совсем не то:)

✔(НЕЙРОСЕТЬ) Качественные живые посетители на ваш сайт, блог, канал — Бесплатно!!!

♛ЛУЧШИЙ ПРОВЕРЕННЫЙ и САМЫЙ НЕДОРОГОЙ ХОСТИНГ: АКЦИИ!

Natalia LynxPlace

Сообщений: 22 Регистрация: Мар 2012

#10

11 Августа 2017 08:20

Спасибо, всем за Ваше ценное время. Вы все мне очень помогли.

Александр Жилецкий

Сообщений: 58 Регистрация: Апр 2013

#11

11 Августа 2017 09:00

Цитата

Eye пишет:

Цитата
masterrabot пишет: Там где Host протокол https:// писать не надо

Надо! При ssl надо Host: https://сайт.ру

Цитата
Александр Жилецкий пишет: Disallow: /

Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.

Код был взят из справки Яндекса. Согласен, что Dissalow - запрещает индексацию, а Allow - разрешает. Решать как их применять, это на усмотрение владельца сайта. Вопрос был о том, как писать правильно директиву Host. Я и ответил!

Изменено: Александр Жилецкий - 11 Августа 2017 09:01

Похожие темы:

04.04.2023 10:41	Главная страница сайта недоступна для робота: код ответа страницы «406 (Not Acceptable)»
14.06.2022 17:37	Что делать с роботностью?
24.11.2020 14:09	Ссылка с pdf файла на сайте.. Стоит ли?
07.04.2020 01:55	SEO, WP медиафайлы- картинки, вредят?
29.07.2018 17:42	Запрет страниц в файле robots.txt

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ 09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	05:30 CoinCapital 04:22 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 20:30 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 19:53 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 19:52 Trustpilot Reviews \| Подниму рейтинг вашей компании 19:52 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 19:52 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?