Закрыть ссылки со слешем на конце в robots.txt
Страницы: 1
Закрыть ссылки со слешем на конце в robots.txt
Здравствуйте, уважаемые вебмастера.

Заметила, что проиндексировались дубли страниц. Выглядят они так: /forum/topic/название темы которое меняется и /forum/topic/название темы которое меняется/ - точно такой же урл, но только со слешем на конце.

Задача такая: закрыть в роботсе дубль со слешем, но оставить первый вариант урла. Как это сделать? Перед слешем ссылка вида чпу, не динамическая, без всяких переменных.

Помогите, пожалуйста!
Консультации по СЕО: помогу сделать СДЛ, помогу избавиться от фильтра. Стучитесь в личку!

Шикарный VPN
вам надо надо 301 редирект настроить со страниц со слешем на страницы без слеша.

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} (.*)
RewriteCond %{REQUEST_URI} /$ [NC]
RewriteRule ^(.*)(/)$ $1 [L,R=301]
либо такой
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(.+)/$
RewriteRule ^(.+)/$  /$1 [R=301,L]
+1 за редирект, код вам уже дали
Цитата
fxcopy пишет:
вам надо надо 301 редирект настроить со страниц со слешем на страницы без слеша.

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} (.*)
RewriteCond %{REQUEST_URI} /$ [NC]
RewriteRule ^(.*)(/)$ $1 [L,R=301]
Спасибо! А для самого сайта это не будет опасно? А то если что-то неправильно со слешем закрыть или переадресовать, то можно и весь сайт потерять....smile:(
Для сайта никакой опасности нет, страницы со слешем через редирект передадут свой вес на страницы без него, единственное что может быть, если было больше веса у страницы со слешем - то на какое то время ключи по ней выпадут из поиска - как правило все восстанавливается через 1-2 апа. Так что делайте смело, это лучшее решение
Это не опасно- это благо для сайта - при условии что редирект правильно работает. Проверяйте после установки редиректа его правильную работу: введите адрес со слешем, его должно перебросить на такой же адрес без слеша. проверьте так главную, категории, конечные страницы и т.п.
если вас интересует по поводу отношения ПС к 301, то они очень хорошо к нему относятся, и рекомендуют его использовать, т.к. это для них понятный и прозрачный механизм переадресации страницы.
страница должна быть доступна только по одному адресу, все варианты: с www, со слешем,  index.html и т.п.  - должны редиректом направляться на какой то единственный вариант- адрес, иначе будут дубли и возможные проблемы.
Изменено: fxcopy - 19 Декабря 2014 09:24
Всем спасибо за помощь. Разобралась сама с роботс - удалось закрыть ненужный слеш только в данном типе урлов.
seoledi, с роботсом есть одна проблема, страницы не индексируются, но все равно учитываются и в итоге попадают в "сопли", то есть дубли в памяти поисковиков остаются. Роботс - вероятно, самый неудачный способ избавления от дублей.
Есть еще один вариант - если не хочется возиться с редиректом, можно настроить на этих страницах мета-тег rel=canonical, где прописать правильный адрес. Способ тоже хорошо работает, разве что остаются рабочими оба варианта ссылки, поэтому редирект считается более универсальным. Но и canonical вполне подходит.
Sasha Minsky,  спасибо. Но у меня любые дубли закрываются в роботс. Проблем не было пока...
Каноникал есть, он через плагин работает, все публикуемые страницы помечаются этим тэгом.
seoledi, если каноникал есть, то скорее всего индексация дублей была временной, и ее со временем все равно выкинуло бы... Но все хорошо, что хорошо кончается, если роботс помог, то отлично smile:)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:01 Раскрутка форума 
16:35 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 
13:23 Рост эффективности моего интернет‑магазина 
11:31 AI под надзором. Минцифры готовят клеймо для контента 
21:08 Adsense личный опыт 
18:19 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
18:16 С чего сейчас проще начать? 
18:25 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
16:33 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 
14:20 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
13:48 Мониторинг обменников Сrypto-scout.io 
13:42 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:06 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 
11:55 Plata24: Быстрый обмен. Честный курс. 
Полная безопасность. 
19:57 молодильные яблоки и живая вода 
16:28 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
22:06 Точные прогнозы на футбол 
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта) 
06:50 Ставки на супер тренды в спорте 
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем