Помогите разобраться с дублями
Страницы: 1
Помогите разобраться с дублями
Как так получилось сам не знаю, но есть у меня на сайте много страниц, которые имеют по два разных адреса и оба индексируются поисковиками (насколько я читал, то это плохо). Сайт на юкозе

Пример:
Сайт/раздел/ПОДРАЗДЕЛ/название страницы
и
Сайт/ПОДРАЗДЕЛ/название страницы

Я прописал в роботсе вот так:


Disallow: /ПОДРАЗДЕЛ/*

Правильно ли будет так и выкинут ли обе ПС ненужные дубли (интересует проканает ли это с Гуглом)
Изменено: DejetNK - 10 Декабря 2013 13:52
Закупаю качественные ссылки тут.
Зарабатывайте на своём сайте тут и тут.
Цитата
DejetNK пишет:
Disallow: /ПОДРАЗДЕЛ/*
Может быть, так попробовать:
Disallow: ПОДРАЗДЕЛ/

Цитата
Правильно ли будет так и выкинут ли обе ПС ненужные дубли (интересует проканает ли это с Гуглом)
Правильно, думается.
Цитата
Coder пишет:
Может быть, так попробовать:
Disallow: ПОДРАЗДЕЛ/
А разве так правильно?
Цитата
DejetNK пишет:
А разве так правильно?
Пардон - не с той стороны убрал слэш:

Disallow: /ПОДРАЗДЕЛ
Цитата
Disallow: /ПОДРАЗДЕЛ/* 

Тоже не правильно. Если в обоих вариантах имеется ввиду один и тот же подраздел, то заблокируются и  страницы по адресу Сайт/раздел/ПОДРАЗДЕЛ/название страницы. 
Здесь нужно работать с двумя тегами Allow и Disallow одновременно. 

Allow: /раздел/ПОДРАЗДЕЛ/*
Disallow: /*/ПОДРАЗДЕЛ/

Можно также прописать:
Allow: /ПОДРАЗДЕЛ*/
Disallow: /раздел*/ или /раздел/* - Тогда будет индексироваться второй вариант, а первый - нет. 
Проверить можно здесь tool.motoricerca.info/robots-checker.phtml

Или попробуйте просто прописать link rel='canonical', используя специальные условные операторы.
Изменено: Надежда - 11 Декабря 2013 02:01
Цитата
Надежда пишет:
Или попробуйте просто прописать link rel='canonical', используя специальные условные операторы.
Спасибо, а скажите в таком случае ненужные урлы перестанут индексироваться.
Google сам об этом пишет - "Если Google будет знать о том, что содержание этих страниц одинаково, то сможет добавить в результаты поиска только одну из них", т.е. ту, на которую будет указывать тег rel='canonical'. Яндекс делает то же самое.
См. источник: https://support.google.com/webmasters/answer/139394?hl=ru
Еще раз спасибо, очстановлюсь значит на теге rel='canonical' - а то с роботсом чувствую перемудрю однозначно.
Цитата
DejetNK пишет:
Как так получилось сам не знаю, но есть у меня на сайте много страниц, которые имеют по два разных адреса
Это так работает опция обработки ЧПУ. Если включена то адрес страницы преобразуется из вида "site/модуль/статический адрес" в "site/модуль/ЧПУ/статический адрес" Рекомендуется оставить ЧПУ адреса для поисковика, а дубли закрыть в Robots.txt.
Один из способов:

К примеру для модуля новости (news) имеем :
site/news/2013-11-19-41 и site/news/ЧПУ/2013-11-19-41

пишем в robots  директиву для закрытия от индексации адресов без ЧПУ :
Disallow: /news/2013-*
Disallow: /news/2014-*
Disallow: /news/2015-*
...
Все страницы каталога news начинающиеся со строки  2013-, 2014-, 2015-  будут запрещены к индексации.

Более радикальный способ :
Disallow: /news/201*
Disallow: /news/202*
Disallow: /news/203*


Здесь под сопли попадают все страницы каталога news начинающиеся со строки  201, 202, 203

Проверку доступности для индксирования можно затем проверить в ВМ яндекса чтобы не сделать лишний отрезец
Изменено: forte144 - 11 Декабря 2013 16:57
Дело в том, что это модуль /load/  и ЧПУ работает корректно и нормально, но есть проблема именно с разделами и категориями

site/load/раздел/категория/ название материала   - правильный адрес

site/load/категория/ название материала   - неправильный адрес

и тот и тот попадает в индекс
Если в модуле включена опция "возможность вхождения материала сразу в несколько категорий", то теряется смысл во всех манипуляциях с Disallow
Цитата
forte144 пишет:
Если в модуле включена опция "возможность вхождения материала сразу в несколько категорий", то теряется смысл во всех манипуляциях с Disallow
Не включена.
Всем спасибо.

Цитата
Надежда пишет:
Или попробуйте просто прописать link rel='canonical', используя специальные условные операторы.
Сделал именно так - все отлично работает.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:04 Телега на ручнике: РКН включил замедление и логи админок покраснели 
13:48 Гугл уходит из России: почему интернет тормозит и что делать 
13:46 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 
12:54 Ютуб - все: РКН вырубил свет через DNS и НСДИ 
09:34 SEO под нейро 
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 
13:30 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
13:14 BestChange – обменивать электронную валюту можно быстро и выгодно 
10:21 AllCharge.online. Современный, быстрый и надёжный обменник 
09:42 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
09:01 Мониторинг обменников Сrypto-scout.io 
20:15 Nexulume.com Обменник без AML и KYC 
17:47 Продажа аккаунтов HH.RU 
14:02 Туалетные секреты: Замурчательная тема 
12:30 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе 
09:28 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
09:02 Ставки на супер тренды в спорте 
01:00 Точные прогнозы на футбол 
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес