Закрытие ссылок через robots.txt

Добрый день! У меня на сайте такая система, автоматическая. Спарсит видео от ютуб к примеру. ссылка имеет сначала вот такой вид: site.ru/youtube/myfile.html без айди видео ютуб. Потом после захода на эту ссылку, создается в бд инфо о стр, и перекинет на страницу site.ru/video/1-Myfile.html. Мне очень удобно так делать, потому что, ненужные видео не храняются в бд. вот вопрос в том, что можно ли не выводить в поиске гугла ссылку site.ru/youtube/myfile.html, потому что гугл индексирует эту страницу, как site.ru/video/1-Myfile.html, то есть выйдет, что индексируется 2 ссылки с одинаковыми контентами. Можно ли заблокировать /youtube/ на robots.txt? Нужно чтобы, робот гугла открыл страницу /youtube/ и индексировал, но выводил ссылку site.ru/video/1-myfile.html в поиске

Новые темы	Объявления	Свободное общение
01:59 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 18:01 Раскрутка форума 13:23 Рост эффективности моего интернет‑магазина 21:08 Adsense личный опыт	04:11 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 22:58 SOCKS5 приватные прокси на 30 дней для PayPal 22:57 Google Voice аккаунты для бесплатных SMS и звонков 22:57 PayPal аккаунты для любых целей 21:16 Crypto Mixer ↔ Bitcoin Mixer ↔ Cryptocurrency tumbler ↔ No-AML 18:54 Продам топовый аккаунт Kwork 17:35 Русские народные сказки - оцените!	00:06 Точные прогнозы на футбол 20:44 Огородники 19:47 молодильные яблоки и живая вода 16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 22:45 С юмором по жизни! 15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)

Новые темы

Объявления

Свободное общение

01:59 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки
10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице
10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта
10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта
18:01 Раскрутка форума
13:23 Рост эффективности моего интернет‑магазина
21:08 Adsense личный опыт

04:11 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
22:58 SOCKS5 приватные прокси на 30 дней для PayPal
22:57 Google Voice аккаунты для бесплатных SMS и звонков
22:57 PayPal аккаунты для любых целей
21:16 Crypto Mixer ↔ Bitcoin Mixer ↔ Cryptocurrency tumbler ↔ No-AML
18:54 Продам топовый аккаунт Kwork
17:35 Русские народные сказки - оцените!

00:06 Точные прогнозы на футбол
20:44 Огородники
19:47 молодильные яблоки и живая вода
16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
22:45 С юмором по жизни!
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)

15.08.2021 16:18	Процент анкорных ссылок для новостного сайта
07.05.2020 09:52	Закрытие части текста для индексации на страницах с помощью тегов
09.03.2020 14:44	Продвижение от Profitlinks (тайный знак) ru пирамидами ссылок, кто пробовал?
04.03.2020 21:41	Актуальна ли покупка ссылок в SAPE?
07.12.2019 19:14	Закупка ссылок

Amangeldy Asanov Сообщений: 93 Регистрация: Дек 2013	#1 13 Февраля 2016 16:49 Добрый день! У меня на сайте такая система, автоматическая. Спарсит видео от ютуб к примеру. ссылка имеет сначала вот такой вид: site.ru/youtube/myfile.html без айди видео ютуб. Потом после захода на эту ссылку, создается в бд инфо о стр, и перекинет на страницу site.ru/video/1-Myfile.html. Мне очень удобно так делать, потому что, ненужные видео не храняются в бд. вот вопрос в том, что можно ли не выводить в поиске гугла ссылку site.ru/youtube/myfile.html, потому что гугл индексирует эту страницу, как site.ru/video/1-Myfile.html, то есть выйдет, что индексируется 2 ссылки с одинаковыми контентами. Можно ли заблокировать /youtube/ на robots.txt? Нужно чтобы, робот гугла открыл страницу /youtube/ и индексировал, но выводил ссылку site.ru/video/1-myfile.html в поиске