Файл робот robots.txt
Страницы: 1
Файл робот robots.txt
robots.txt Не знаю как теперь в нем прописать? ссылки поменяла с  http://   на https://

User-Agent: *
Allow: /
Host: //мойсайт.ru
Sitemap: //мойсайт.ru/sitemap.xml


Так правильно?
Изменено: Natalia LynxPlace - 10 Августа 2017 18:57
User-Agent: *
Allow: /
Host: https://мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml
Там где Host протокол https:// писать не надо

User-Agent: * 
Allow: / 
Host: мойсайт.ru 
Sitemap: https://мойсайт.ru/sitemap.xml

Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо

User-Agent: *
Allow: /
Host: мойсайт.ru
Sitemap: https://мойсайт.ru/sitemap.xml


Пример корректно составленного robots.txt, при обработке которого директива Host учитывается:
User-Agent: *
Disallow: /
Host: https://www.myhost.ru

Директива Host должна содержать: Протокол HTTPS, если зеркало доступно только по защищенному каналу. Если вы используете протокол HTTP, то его указывать необязательно.

Смотрите источник: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
Изменено: Александр Жилецкий - 10 Августа 2017 20:10
Цитата
Александр Жилецкий пишет:
Disallow: /
При такой инструкции весь сайт запрещен у индексации
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Цитата
Александр Жилецкий пишет:
Директива Host должна содержать: Протокол HTTPS
Цитата
Eye пишет:
Надо! При ssl надо Host: https://сайт.ру

Признаю свою ошибку, надо, надо Host: https://сайт.ру
Цитата
Natalia LynxPlace пишет:
Так правильно?
При таких инструкциях как в примере, я б вообще указал пустое содержимое и не ломал голову, сайт будет чувствовать себя превосходно
Цитата
Eye пишет:
Не слушайте его. Не пишите такую инструкцию.
Ага что то совсем не то:)
Спасибо, всем за Ваше ценное время. Вы все мне очень помогли.
Цитата
Eye пишет:
Цитата
masterrabot пишет:
Там где Host протокол https:// писать не надо
Надо! При ssl надо Host: https://сайт.ру
Цитата
Александр Жилецкий пишет:
Disallow: /
Не слушайте его. Не пишите такую инструкцию. Это запрет доступа к сайту всем поисковым роботам.
Код был взят из справки Яндекса. Согласен, что Dissalow - запрещает индексацию, а Allow - разрешает. Решать как их применять, это на усмотрение владельца сайта. Вопрос был о том, как писать правильно директиву Host. Я и ответил!
Изменено: Александр Жилецкий - 11 Августа 2017 09:01
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:45 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
19:02 Gambling Craft - гемблинг по белому 
17:03 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
15:51 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 
18:01 Раскрутка форума 
20:33 TokenTrade — Ваш новый надежный обменник 
20:20 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:24 Mixmasters - Exchange without AML and KYC 
16:57 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
12:08 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
11:19 Русские народные сказки - оцените! 
09:51 Swapwatch.org — Мониторинг криптовалютных обменников 
21:18 молодильные яблоки и живая вода 
04:35 Ставки на супер тренды в спорте 
15:49 Огородники 
00:06 Точные прогнозы на футбол 
16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
22:45 С юмором по жизни! 
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день