Дубли категорий
Страницы: 1
[ Закрыто ] Дубли категорий
Народ ещё раз привет ) Помогите убрать из индекса страницы типа /категория/категория. Как закрыть это в роботе. Всего 500 новостей из них загружено роботом 6000 страниц =\ мне страшно )))
Тему перенес в положенный раздел.
Спасибо! Плюс ещё это создает дубли метаописаний как бы за такое в бан не улететь =\
Код
User-agent: * 
Disallow: /категория/категория
Disallow: /категория2
Disallow: /категория3/новость


Что там продублировано?
К каждой категории подставляются все которые есть на сайте.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
17:47 Продажа аккаунтов HH.RU 
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
12:59 Mixmasters - Exchange without AML and KYC 
09:05 Swapwatch.org — Мониторинг криптовалютных обменников 
08:45 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
17:39 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
15:24 Сайты Рунета 
15:22 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
12:41 Туалетные секреты: Замурчательная тема 
03:45 Гильотина для классиков: Клод доедает физические книги