Файл робот robots.txt
Страницы: 1
Файл робот robots.txt
robots.txt Не знаю как теперь в нем прописать? ссылки поменяла с  http://   на https://

User-Agent: *
Allow: /
Host: //мойсайт.ru
Sitemap: //мойсайт.ru/sitemap.xml


Так правильно?
Изменено: Natalia LynxPlace - 10 Августа 2017 18:57
User-Agent: *
Allow: /
Host: https://мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml
Там где Host протокол https:// писать не надо

User-Agent: * 
Allow: / 
Host: мойсайт.ru 
Sitemap: https://мойсайт.ru/sitemap.xml

Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо

User-Agent: *
Allow: /
Host: мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml


Пример корректно составленного robots.txt, при обработке которого директива Host учитывается:
User-Agent: *
Disallow: /
Host: https://www.myhost.ru

Директива Host должна содержать: Протокол HTTPS, если зеркало доступно только по защищенному каналу. Если вы используете протокол HTTP, то его указывать необязательно.

Смотрите источник: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
Изменено: Александр Жилецкий - 10 Августа 2017 20:10
Цитата
Александр Жилецкий пишет:
Disallow: /
При такой инструкции весь сайт запрещен у индексации
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Цитата
Александр Жилецкий пишет:
Директива Host должна содержать: Протокол HTTPS
Цитата
Eye пишет:
Надо! При ssl надо Host: https://сайт.ру

Признаю свою ошибку, надо, надо Host: https://сайт.ру
Цитата
Natalia LynxPlace пишет:
Так правильно?
При таких инструкциях как в примере, я б вообще указал пустое содержимое и не ломал голову, сайт будет чувствовать себя превосходно
Цитата
Eye пишет:
Не слушайте его. Не пишите такую инструкцию.
Ага что то совсем не то:)
Спасибо, всем за Ваше ценное время. Вы все мне очень помогли.
Цитата
Eye пишет:
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Код был взят из справки Яндекса. Согласен, что Dissalow - запрещает индексацию, а Allow - разрешает. Решать как их применять, это на усмотрение владельца сайта. Вопрос был о том, как писать правильно директиву Host. Я и ответил!
Изменено: Александр Жилецкий - 11 Августа 2017 09:01
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:23 Ищу специалистов 
08:12 ру гембла 
09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче 
19:42 Продвижение по ключам 
19:33 Продвижение заграницей 
12:53 Нужна помощь советом! 
11:28 2Index - быстрая индексация страниц сайта и обратных ссылок 
22:07 Продажа аккаунтов HH.RU 
21:59 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
20:53 SOCKS5 приватные прокси на 30 дней для PayPal 
20:52 Google Voice аккаунты для бесплатных SMS и звонков 
20:51 PayPal аккаунты для любых целей 
20:31 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
17:59 Volna.money 
10:00 Ну что, кто куда деваете свои сайты? 
05:31 Точные прогнозы на футбол 
16:22 Компьютерная мышь 
23:55 Добро пожаловать в цифровой мир... 
13:13 О природе путешествий. 
00:15 Накрутка поисковых подсказок 
19:56 Union Pharm - топовая фарма-партнерка для профессионалов!