Файл робот robots.txt
Страницы: 1
Файл робот robots.txt
robots.txt Не знаю как теперь в нем прописать? ссылки поменяла с  http://   на https://

User-Agent: *
Allow: /
Host: //мойсайт.ru
Sitemap: //мойсайт.ru/sitemap.xml


Так правильно?
Изменено: Natalia LynxPlace - 10 Августа 2017 18:57
User-Agent: *
Allow: /
Host: https://мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml
Там где Host протокол https:// писать не надо

User-Agent: * 
Allow: / 
Host: мойсайт.ru 
Sitemap: https://мойсайт.ru/sitemap.xml

Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо

User-Agent: *
Allow: /
Host: мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml


Пример корректно составленного robots.txt, при обработке которого директива Host учитывается:
User-Agent: *
Disallow: /
Host: https://www.myhost.ru

Директива Host должна содержать: Протокол HTTPS, если зеркало доступно только по защищенному каналу. Если вы используете протокол HTTP, то его указывать необязательно.

Смотрите источник: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
Изменено: Александр Жилецкий - 10 Августа 2017 20:10
Цитата
Александр Жилецкий пишет:
Disallow: /
При такой инструкции весь сайт запрещен у индексации
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Цитата
Александр Жилецкий пишет:
Директива Host должна содержать: Протокол HTTPS
Цитата
Eye пишет:
Надо! При ssl надо Host: https://сайт.ру

Признаю свою ошибку, надо, надо Host: https://сайт.ру
Цитата
Natalia LynxPlace пишет:
Так правильно?
При таких инструкциях как в примере, я б вообще указал пустое содержимое и не ломал голову, сайт будет чувствовать себя превосходно
Цитата
Eye пишет:
Не слушайте его. Не пишите такую инструкцию.
Ага что то совсем не то:)
Спасибо, всем за Ваше ценное время. Вы все мне очень помогли.
Цитата
Eye пишет:
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Код был взят из справки Яндекса. Согласен, что Dissalow - запрещает индексацию, а Allow - разрешает. Решать как их применять, это на усмотрение владельца сайта. Вопрос был о том, как писать правильно директиву Host. Я и ответил!
Изменено: Александр Жилецкий - 11 Августа 2017 09:01
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:23 Волна банов за ПФ под Новый год? Кого еще зацепило? 
22:55 DLE не создает бэкап с админки сайта, как быть? 
22:45 Подскажите как правильно переехать с виртуального хостинга на VPS 
22:38 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 
20:33 25.12.25 Апдейт Яндекс выдача 
07:36 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
01:45 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 
00:02 Clearex.io - Больше чем обменник 
23:36 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
23:33 SOCKS5 приватные прокси на 30 дней для PayPal 
23:33 Google Voice аккаунты для бесплатных SMS и звонков 
23:32 PayPal аккаунты для любых целей 
18:43 TELEGRAM SOFT Gods\Expert - Многоцелевой комбайн по работе с телеграмм 
17:44 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 
23:40 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
21:44 С юмором по жизни! 
13:34 Компьютерная мышь 
13:13 Куплю проигрышные букмекерские аккаунты 
22:59 Про мясо 
15:07 Добро пожаловать в цифровой мир... 
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях​