Помогите разобраться с дублями

Сообщений: 546 Регистрация: Авг 2012

10 Декабря 2013 13:51

Как так получилось сам не знаю, но есть у меня на сайте много страниц, которые имеют по два разных адреса и оба индексируются поисковиками (насколько я читал, то это плохо). Сайт на юкозе

Пример:
Сайт/раздел/ПОДРАЗДЕЛ/название страницы
и
Сайт/ПОДРАЗДЕЛ/название страницы

Я прописал в роботсе вот так:

Disallow: /ПОДРАЗДЕЛ/*

Правильно ли будет так и выкинут ли обе ПС ненужные дубли (интересует проканает ли это с Гуглом)

Изменено: DejetNK - 10 Декабря 2013 13:52

Закупаю качественные ссылки тут.
Зарабатывайте на своём сайте тут и тут.

Coder

Сообщений: 10610 Регистрация: Мар 2013

10 Декабря 2013 23:37

Цитата
DejetNK пишет: Disallow: /ПОДРАЗДЕЛ/*

Может быть, так попробовать:
Disallow: ПОДРАЗДЕЛ/

Цитата
Правильно ли будет так и выкинут ли обе ПС ненужные дубли (интересует проканает ли это с Гуглом)

Правильно, думается.

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

DejetNK

Сообщений: 546 Регистрация: Авг 2012

11 Декабря 2013 00:52

Цитата
Coder пишет: Может быть, так попробовать: Disallow: ПОДРАЗДЕЛ/

А разве так правильно?

Coder

Сообщений: 10610 Регистрация: Мар 2013

11 Декабря 2013 01:14

Цитата
DejetNK пишет: А разве так правильно?

Пардон - не с той стороны убрал слэш:

Disallow: /ПОДРАЗДЕЛ

Надежда

Сообщений: 22 Регистрация: Апр 2012

11 Декабря 2013 01:48

Цитата
Disallow: /ПОДРАЗДЕЛ/*

Тоже не правильно. Если в обоих вариантах имеется ввиду один и тот же подраздел, то заблокируются и страницы по адресу Сайт/раздел/ПОДРАЗДЕЛ/название страницы.
Здесь нужно работать с двумя тегами Allow и Disallow одновременно.

Allow: /раздел/ПОДРАЗДЕЛ/*
Disallow: /*/ПОДРАЗДЕЛ/

Можно также прописать:
Allow: /ПОДРАЗДЕЛ*/
Disallow: /раздел*/ или /раздел/* - Тогда будет индексироваться второй вариант, а первый - нет.
Проверить можно здесь tool.motoricerca.info/robots-checker.phtml

Или попробуйте просто прописать link rel='canonical', используя специальные условные операторы.

Изменено: Надежда - 11 Декабря 2013 02:01

DejetNK

Сообщений: 546 Регистрация: Авг 2012

11 Декабря 2013 11:50

Цитата
Надежда пишет: Или попробуйте просто прописать link rel='canonical', используя специальные условные операторы.

Спасибо, а скажите в таком случае ненужные урлы перестанут индексироваться.

Надежда

Сообщений: 22 Регистрация: Апр 2012

11 Декабря 2013 12:05

Google сам об этом пишет - "Если Google будет знать о том, что содержание этих страниц одинаково, то сможет добавить в результаты поиска только одну из них", т.е. ту, на которую будет указывать тег rel='canonical'. Яндекс делает то же самое.
См. источник: https://support.google.com/webmasters/answer/139394?hl=ru

DejetNK

Сообщений: 546 Регистрация: Авг 2012

11 Декабря 2013 14:38

Еще раз спасибо, очстановлюсь значит на теге rel='canonical' - а то с роботсом чувствую перемудрю однозначно.

forte144

Сообщений: 270 Регистрация: Ноя 2012

11 Декабря 2013 16:55

Цитата
DejetNK пишет: Как так получилось сам не знаю, но есть у меня на сайте много страниц, которые имеют по два разных адреса

Это так работает опция обработки ЧПУ. Если включена то адрес страницы преобразуется из вида "site/модуль/статический адрес" в "site/модуль/ЧПУ/статический адрес" Рекомендуется оставить ЧПУ адреса для поисковика, а дубли закрыть в Robots.txt.
Один из способов:

К примеру для модуля новости (news) имеем :
site/news/2013-11-19-41 и site/news/ЧПУ/2013-11-19-41

пишем в robots директиву для закрытия от индексации адресов без ЧПУ :
Disallow: /news/2013-*
Disallow: /news/2014-*
Disallow: /news/2015-*
...
Все страницы каталога news начинающиеся со строки 2013-, 2014-, 2015- будут запрещены к индексации.

Более радикальный способ :
Disallow: /news/201*
Disallow: /news/202*
Disallow: /news/203*

Здесь под сопли попадают все страницы каталога news начинающиеся со строки 201, 202, 203

Проверку доступности для индксирования можно затем проверить в ВМ яндекса чтобы не сделать лишний отрезец

Изменено: forte144 - 11 Декабря 2013 16:57

DejetNK

Сообщений: 546 Регистрация: Авг 2012

#10

11 Декабря 2013 22:33

Дело в том, что это модуль /load/ и ЧПУ работает корректно и нормально, но есть проблема именно с разделами и категориями

site/load/раздел/категория/ название материала - правильный адрес

site/load/категория/ название материала - неправильный адрес

и тот и тот попадает в индекс

forte144

Сообщений: 270 Регистрация: Ноя 2012

#11

12 Декабря 2013 11:14

Если в модуле включена опция "возможность вхождения материала сразу в несколько категорий", то теряется смысл во всех манипуляциях с Disallow

DejetNK

Сообщений: 546 Регистрация: Авг 2012

#12

12 Декабря 2013 11:49

Цитата
forte144 пишет: Если в модуле включена опция "возможность вхождения материала сразу в несколько категорий", то теряется смысл во всех манипуляциях с Disallow

Не включена.

DejetNK

Сообщений: 546 Регистрация: Авг 2012

#13

14 Декабря 2013 13:07

Всем спасибо.

Цитата
Надежда пишет: Или попробуйте просто прописать link rel='canonical', используя специальные условные операторы.

Сделал именно так - все отлично работает.

Похожие темы:

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	16:17 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 13:51 Скрипт обменника валют 07:11 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend 04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 13:16 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 11:11 Belurk — высокоскоростные анонимные прокси от 0,24 рублей	10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты?