Дубли и robots.txt
Страницы: 1
Дубли и robots.txt, закрывать дубли url от индексации в robots.txt
Здравствуйте! Подскажите пожалуйста как лучше закрывать дубли url от индексации в robots.txt
Имеются статьи такого формата: articles/hard_disk и дальше дубли: articles/hard_disk-4; articles/hard_disk-56; articles/hard_disk-4-5, как можно закрыть все эти дубли не по одному(их много) а например все статьи которые начинаются с hard_disk- и заканчиваются цифрами.
Мы сделали таким способом но не уверены что он правильный Disallow: /hard_disk-*
Спасибо за внимание и надеемся что подскажите решение этой проблемы.
Нормальный способ, если только нет страниц типа articles/hard_disk-bla-bla-bla,
где bla-bla-bla слова и эти страницы надо индексировать.
Спасибо, за помощь)
А можно просто цифры от 0 до 9 закрыть в роботсе. Если не предполагается конечно иметь в индексе какие-либо страницы, с цифрами в url.
Цитата
Николай пишет:
просто цифры от 0 до 9 закрыть в роботсе
Интересно smile:confused: подскажите такой метод
Disallow: /*0*
Disallow: /*1*

Ну и т.д. до 9
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
04:45 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 
23:16 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 
22:04 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
18:01 Раскрутка форума 
13:23 Рост эффективности моего интернет‑магазина 
21:08 Adsense личный опыт 
18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
04:06 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
18:25 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 
14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
13:48 Мониторинг обменников Сrypto-scout.io 
13:42 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:06 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 
04:35 Точные прогнозы на футбол 
22:45 С юмором по жизни! 
22:32 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
19:57 молодильные яблоки и живая вода 
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта) 
06:50 Ставки на супер тренды в спорте