Закрытие ссылок через robots.txt

Добрый день! У меня на сайте такая система, автоматическая. Спарсит видео от ютуб к примеру. ссылка имеет сначала вот такой вид: site.ru/youtube/myfile.html без айди видео ютуб. Потом после захода на эту ссылку, создается в бд инфо о стр, и перекинет на страницу site.ru/video/1-Myfile.html. Мне очень удобно так делать, потому что, ненужные видео не храняются в бд. вот вопрос в том, что можно ли не выводить в поиске гугла ссылку site.ru/youtube/myfile.html, потому что гугл индексирует эту страницу, как site.ru/video/1-Myfile.html, то есть выйдет, что индексируется 2 ссылки с одинаковыми контентами. Можно ли заблокировать /youtube/ на robots.txt? Нужно чтобы, робот гугла открыл страницу /youtube/ и индексировал, но выводил ссылку site.ru/video/1-myfile.html в поиске

Новые темы	Объявления	Свободное общение
04:53 Как раскрутить сайт? 19:21 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 19:01 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:59 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы \| Еженедельные Выплаты \| CPA до $950 13:14 2Index - быстрая индексация страниц сайта и обратных ссылок 14:59 Партнерская программа OWNR WALLET 14:41 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).	23:01 Партнёрка для вебмастеров 20:47 EasyBusy.bz Проводи обмены легко и быстро вместе с нами 19:17 Johnny.Do \| Обмен криптовалют с круглосуточной техподдержкой 18:13 Ural-obmen.ru — выгодный сервис обмена 16:48 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 15:52 Продам аккаунты HH.RU 15:24 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно	04:23 Точные прогнозы на футбол 17:34 С юмором по жизни! 08:11 Добро пожаловать в цифровой мир... 20:36 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 09:45 Подтягиваем физкультурку 15:02 Замедление скорости YouTube будет происходить по естественным причинам 09:47 Китайцы создали себе национальный Linux, напичканный ИИ-функциями

Новые темы

Объявления

Свободное общение

04:53 Как раскрутить сайт?
19:21 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
19:01 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
15:59 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950
13:14 2Index - быстрая индексация страниц сайта и обратных ссылок
14:59 Партнерская программа OWNR WALLET
14:41 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).

23:01 Партнёрка для вебмастеров
20:47 EasyBusy.bz Проводи обмены легко и быстро вместе с нами
19:17 Johnny.Do | Обмен криптовалют с круглосуточной техподдержкой
18:13 Ural-obmen.ru — выгодный сервис обмена
16:48 Obama.ru - безопасный обмен криптовалют и электронных денежных средств
15:52 Продам аккаунты HH.RU
15:24 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно

04:23 Точные прогнозы на футбол
17:34 С юмором по жизни!
08:11 Добро пожаловать в цифровой мир...
20:36 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди
09:45 Подтягиваем физкультурку
15:02 Замедление скорости YouTube будет происходить по естественным причинам
09:47 Китайцы создали себе национальный Linux, напичканный ИИ-функциями

15.08.2021 16:18	Процент анкорных ссылок для новостного сайта
07.05.2020 09:52	Закрытие части текста для индексации на страницах с помощью тегов
09.03.2020 14:44	Продвижение от Profitlinks (тайный знак) ru пирамидами ссылок, кто пробовал?
04.03.2020 21:41	Актуальна ли покупка ссылок в SAPE?
07.12.2019 19:14	Закупка ссылок

Amangeldy Asanov Сообщений: 93 Регистрация: Дек 2013	#1 13 Февраля 2016 16:49 Добрый день! У меня на сайте такая система, автоматическая. Спарсит видео от ютуб к примеру. ссылка имеет сначала вот такой вид: site.ru/youtube/myfile.html без айди видео ютуб. Потом после захода на эту ссылку, создается в бд инфо о стр, и перекинет на страницу site.ru/video/1-Myfile.html. Мне очень удобно так делать, потому что, ненужные видео не храняются в бд. вот вопрос в том, что можно ли не выводить в поиске гугла ссылку site.ru/youtube/myfile.html, потому что гугл индексирует эту страницу, как site.ru/video/1-Myfile.html, то есть выйдет, что индексируется 2 ссылки с одинаковыми контентами. Можно ли заблокировать /youtube/ на robots.txt? Нужно чтобы, робот гугла открыл страницу /youtube/ и индексировал, но выводил ссылку site.ru/video/1-myfile.html в поиске