Закрыть ссылки со слешем на конце в robots.txt
Страницы: 1
Закрыть ссылки со слешем на конце в robots.txt
Здравствуйте, уважаемые вебмастера.

Заметила, что проиндексировались дубли страниц. Выглядят они так: /forum/topic/название темы которое меняется и /forum/topic/название темы которое меняется/ - точно такой же урл, но только со слешем на конце.

Задача такая: закрыть в роботсе дубль со слешем, но оставить первый вариант урла. Как это сделать? Перед слешем ссылка вида чпу, не динамическая, без всяких переменных.

Помогите, пожалуйста!
Консультации по СЕО: помогу сделать СДЛ, помогу избавиться от фильтра. Стучитесь в личку!

Шикарный VPN
вам надо надо 301 редирект настроить со страниц со слешем на страницы без слеша.

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} (.*)
RewriteCond %{REQUEST_URI} /$ [NC]
RewriteRule ^(.*)(/)$ $1 [L,R=301]
либо такой
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(.+)/$
RewriteRule ^(.+)/$  /$1 [R=301,L]
+1 за редирект, код вам уже дали
Цитата
fxcopy пишет:
вам надо надо 301 редирект настроить со страниц со слешем на страницы без слеша.

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} (.*)
RewriteCond %{REQUEST_URI} /$ [NC]
RewriteRule ^(.*)(/)$ $1 [L,R=301]
Спасибо! А для самого сайта это не будет опасно? А то если что-то неправильно со слешем закрыть или переадресовать, то можно и весь сайт потерять....smile:(
Для сайта никакой опасности нет, страницы со слешем через редирект передадут свой вес на страницы без него, единственное что может быть, если было больше веса у страницы со слешем - то на какое то время ключи по ней выпадут из поиска - как правило все восстанавливается через 1-2 апа. Так что делайте смело, это лучшее решение
Это не опасно- это благо для сайта - при условии что редирект правильно работает. Проверяйте после установки редиректа его правильную работу: введите адрес со слешем, его должно перебросить на такой же адрес без слеша. проверьте так главную, категории, конечные страницы и т.п.
если вас интересует по поводу отношения ПС к 301, то они очень хорошо к нему относятся, и рекомендуют его использовать, т.к. это для них понятный и прозрачный механизм переадресации страницы.
страница должна быть доступна только по одному адресу, все варианты: с www, со слешем,  index.html и т.п.  - должны редиректом направляться на какой то единственный вариант- адрес, иначе будут дубли и возможные проблемы.
Изменено: fxcopy - 19 Декабря 2014 09:24
Всем спасибо за помощь. Разобралась сама с роботс - удалось закрыть ненужный слеш только в данном типе урлов.
seoledi, с роботсом есть одна проблема, страницы не индексируются, но все равно учитываются и в итоге попадают в "сопли", то есть дубли в памяти поисковиков остаются. Роботс - вероятно, самый неудачный способ избавления от дублей.
Есть еще один вариант - если не хочется возиться с редиректом, можно настроить на этих страницах мета-тег rel=canonical, где прописать правильный адрес. Способ тоже хорошо работает, разве что остаются рабочими оба варианта ссылки, поэтому редирект считается более универсальным. Но и canonical вполне подходит.
Sasha Minsky,  спасибо. Но у меня любые дубли закрываются в роботс. Проблем не было пока...
Каноникал есть, он через плагин работает, все публикуемые страницы помечаются этим тэгом.
seoledi, если каноникал есть, то скорее всего индексация дублей была временной, и ее со временем все равно выкинуло бы... Но все хорошо, что хорошо кончается, если роботс помог, то отлично smile:)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:47 Adsense личный опыт 
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
08:27 Ищу специалистов 
08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 
08:12 ру гембла 
09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче 
17:51 SpaceSwap.cc - Быстрый и надежный обменник криптовалют 
15:45 SnapSwap.io — мгновенный обмен BTC, XMR, ETH, USDT и других криптовалют без регистрации! 
15:26 TETChange-Обменник криптовалют 
14:12 GoodsMoney.io 
14:06 swapsfera.com 
10:25 AllCharge.online. Современный, быстрый и надёжный обменник 
10:19 Prism-exchange.io - сервис обмена: криптовалюты, банки РФ, Zelle, наличные USD (Москва, Нью-Йорк) 
12:45 Куплю проигрышные букмекерские аккаунты 
11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 
23:51 Всего п онемногу 
17:09 Точные прогнозы на футбол 
10:00 Ну что, кто куда деваете свои сайты? 
16:22 Компьютерная мышь 
23:55 Добро пожаловать в цифровой мир...