Добрый день! У меня на сайте такая система, автоматическая. Спарсит видео от ютуб к примеру. ссылка имеет сначала вот такой вид: site.ru/youtube/myfile.html без айди видео ютуб. Потом после захода на эту ссылку, создается в бд инфо о стр, и перекинет на страницу site.ru/video/1-Myfile.html.  Мне очень удобно так делать, потому что, ненужные видео не храняются в бд. вот вопрос в том, что можно ли не выводить в поиске гугла ссылку site.ru/youtube/myfile.html, потому что гугл индексирует эту страницу, как site.ru/video/1-Myfile.html, то есть выйдет, что индексируется 2 ссылки с одинаковыми контентами. Можно ли заблокировать /youtube/ на robots.txt? Нужно чтобы, робот гугла открыл страницу /youtube/ и индексировал, но выводил ссылку site.ru/video/1-myfile.html в поиске