Файл робот robots.txt
Страницы: 1
Файл робот robots.txt
robots.txt Не знаю как теперь в нем прописать? ссылки поменяла с  http://   на https://

User-Agent: *
Allow: /
Host: //мойсайт.ru
Sitemap: //мойсайт.ru/sitemap.xml


Так правильно?
Изменено: Natalia LynxPlace - 10 Августа 2017 18:57
User-Agent: *
Allow: /
Host: https://мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml
Там где Host протокол https:// писать не надо

User-Agent: * 
Allow: / 
Host: мойсайт.ru 
Sitemap: https://мойсайт.ru/sitemap.xml

Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо

User-Agent: *
Allow: /
Host: мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml


Пример корректно составленного robots.txt, при обработке которого директива Host учитывается:
User-Agent: *
Disallow: /
Host: https://www.myhost.ru

Директива Host должна содержать: Протокол HTTPS, если зеркало доступно только по защищенному каналу. Если вы используете протокол HTTP, то его указывать необязательно.

Смотрите источник: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
Изменено: Александр Жилецкий - 10 Августа 2017 20:10
Цитата
Александр Жилецкий пишет:
Disallow: /
При такой инструкции весь сайт запрещен у индексации
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Цитата
Александр Жилецкий пишет:
Директива Host должна содержать: Протокол HTTPS
Цитата
Eye пишет:
Надо! При ssl надо Host: https://сайт.ру

Признаю свою ошибку, надо, надо Host: https://сайт.ру
Цитата
Natalia LynxPlace пишет:
Так правильно?
При таких инструкциях как в примере, я б вообще указал пустое содержимое и не ломал голову, сайт будет чувствовать себя превосходно
Цитата
Eye пишет:
Не слушайте его. Не пишите такую инструкцию.
Ага что то совсем не то:)
Спасибо, всем за Ваше ценное время. Вы все мне очень помогли.
Цитата
Eye пишет:
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Код был взят из справки Яндекса. Согласен, что Dissalow - запрещает индексацию, а Allow - разрешает. Решать как их применять, это на усмотрение владельца сайта. Вопрос был о том, как писать правильно директиву Host. Я и ответил!
Изменено: Александр Жилецкий - 11 Августа 2017 09:01
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
04:41 узнать krab6a cc 
22:45 этот контент krab6a cc 
16:35 Телега на ручнике: РКН включил замедление и логи админок покраснели 
11:48 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
13:45 SEO под нейро 
13:07 MAX выкатил приватные каналы - закрытые тусы теперь лепишь за минуту 
21:45 Раскрутка форума 
10:11 Swapwatch.org — Мониторинг криптовалютных обменников 
09:07 Все услуги в Телеграм 
22:01 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
16:40 Monitex: Мониторинг с кэшбэком 80% в USDT 
16:36 Мониторинг обменников Сrypto-scout.io 
15:53 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:49 Linken Sphere – браузер-антидетект нового поколения 
03:02 Точные прогнозы на футбол 
22:26 Добро пожаловать в цифровой мир... 
18:38 Оцифровка старых физических фотографий 
14:02 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
13:55 Туалетные секреты: Замурчательная тема 
23:03 Ставки на супер тренды в спорте 
18:43 Индия влепила Intel 3 ляма баксов за дискриминацию по гарантии