Здравствуйте, подскажите пожалуйста.
Очень часто, натыкаюсь на такую работу некоторых сайтов.
В поиске по поисковому запросу, например "Смотреть кино онлайн" отображается сайт с доменом https://name.com, нажав на данный сайт, выполняется переход на https://a.name.com
Если вручную в ссылочной строке браузера ввести прямой адрес https://name.com или https://www.name.com, сайт открывается с ошибкой, то есть не доступен, ошибка 502.
Далее смотрим на файл robots.txt:
У главного домена https://name.com файл robots.txt открывается, прописаны все настройки разрешающие индексацию, а так же прописана директива host которая указывает на этот же домен.
У поддомена https://a.name.com файл robots.txt открывается, настройки запрещают индексацию, директива host которая указывает на https://name.com
Редиктов с основного домена на поддомен никаких не видно, хотя перенаправление есть если на сайт переходить через поисковик.
Вот собственно и вопрос, каким образом реализована такая схема работы сайта? Как выполняется перенаправление которое не видно, и как закрыт доступ к основному сайту, но открыт к файлу robots.txt?
Очень часто, натыкаюсь на такую работу некоторых сайтов.
В поиске по поисковому запросу, например "Смотреть кино онлайн" отображается сайт с доменом https://name.com, нажав на данный сайт, выполняется переход на https://a.name.com
Если вручную в ссылочной строке браузера ввести прямой адрес https://name.com или https://www.name.com, сайт открывается с ошибкой, то есть не доступен, ошибка 502.
Далее смотрим на файл robots.txt:
У главного домена https://name.com файл robots.txt открывается, прописаны все настройки разрешающие индексацию, а так же прописана директива host которая указывает на этот же домен.
У поддомена https://a.name.com файл robots.txt открывается, настройки запрещают индексацию, директива host которая указывает на https://name.com
Редиктов с основного домена на поддомен никаких не видно, хотя перенаправление есть если на сайт переходить через поисковик.
Вот собственно и вопрос, каким образом реализована такая схема работы сайта? Как выполняется перенаправление которое не видно, и как закрыт доступ к основному сайту, но открыт к файлу robots.txt?