Правильно ли я закрыла дубли?
Страницы: 1 2 След.
Правильно ли я закрыла дубли?, Я снова о робот.тхт
Урл статьи:
http://имя сайта/index.php/iron/101-besplatny

Урлы дублей:
http://имя сайта/index.php/component/content/article/77-novosti/101-besplatnye
http://имя сайта/index.php/component/content/?view=featured
http://имя сайта/index.php/component/content/?view=featured&limitstart=0
http://имя сайта/index.php?limitstart=0

 Так правильно закрыть в роботе?
   Disallow: /index.php?
   Disallow: /*component*
Всем спасибо smile:)
чертова джумла наплодила таких дублей по 10 на одну статью (
Не только джумла, все цмски плодят дубли. Просто пощелкайте по всем вкладкам сайта, если там попадает дублирующая инфа и в коде она не завернута в "ноуфоллоу", скрываете в роботсе. Не буду перечислять разделы которые обычно надо закрывать, их очень много и в каждой цмс разные.
Цитата
Евгений Марченко пишет:
Не только джумла, все цмски плодят дубли. Просто пощелкайте по всем вкладкам сайта, если там попадает дублирующая инфа и в коде она не завернута в "ноуфоллоу", скрываете в роботсе. Не буду перечислять разделы которые обычно надо закрывать, их очень много и в каждой цмс разные.
вам спасибо за ответ ) вопрос был в том, правильно ли я закрыла?
уже вторую неделю копаюсь в этом. Неужели никто не знает? Народ, сжальтесь надо мной ..
User-agent: *

...

Disallow: /show_cat_f2.php

Disallow: /show_cat_f.php

Disallow: /oformlenie.php

Disallow: /show_fine.php


...




Вот отрывок из моего роботса, так я закрываю формы которые могут плодить дубли
Вот кусочек моего Robots.txt для сайта на Джумле + К2

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/ 



Disallow: */index.php?

Disallow: *?limitstart=0
Disallow: */component/users/?view=reset 
Disallow: */component/users/?view=remind 
Disallow: */component/users/?view=registration

Disallow: */date/
Disallow: */tag/
Disallow: */user/
Disallow: */users/
Disallow: */itemlist/
Disallow: */component/
Disallow: */media-gallery/item/
Disallow: */media-gallery/video/*/item/
Disallow: */filmography/movies-tv-series/item/
Disallow: */blog/latest/
у меня проблема в том, что все статьи начинаются с    index.php и дубли тоже
поэтому мне надо как-то закрыть то, что находится после  index.php/component/

Вопрос:
правильно ли сделать так?

Disallow: /*component*
Нет, надо правильно вот так 

Disallow: */component/
Цитата
ZimaZelen пишет:
Нет, надо правильно вот так

Disallow: */component/
это закроет все , что идет после component/  ?

Объясните, зачем вы указали это:
Disallow: */component/users/?view=reset 
Disallow: */component/users/?view=remind 
Disallow: */component/users/?view=registration

если чуть ниже у вас написано это:

Disallow: */component/
Да у меня и */users/ закрыто. Просто вначале я дописала всё про авторизацию, а уже потом смотрела, с чем появляются дубли, и закрывала по ходу дела. 

Закрываются все адреса, содержащие указанный кусок URLа.
Disallow: /component/ - закроет все что идет после component
Disallow: /*component* - закроет все урлы в которых встречается component

Вообще Вы предоставили мало информации чтобы дать Вам совет. Нужно посмотреть несколько страниц, но исходя из того что Вы предоставили:
Disallow: /index.php/*component*
Disallow: /index.php?*
В данном случае мы щакрываем станицы с содержанием component и index.php? . Я рекомендую тестировать содержимое роботса в вебмастере яндекса и гугла
Изменено: vmex.com.ua - 18 Марта 2013 14:58
Цитата
vmex.com.ua пишет:
Disallow: /component/ - закроет все что идет после componentDisallow: /*component* - закроет все урлы в которых встречается component

[FONT=Tahoma, Arial, Helvetica, sans-serif]Вообще Вы предоставили мало информации для того чтобы Вам дать совет. Нужно посмотреть урлы других статей[/FONT]
[FONT=Tahoma, Arial, Helvetica, sans-serif]Судя из того что Вы предоставили, правильней будет так и учитывая что на Вашем сайте:

[/FONT]
Disallow: /index.php/*component*
Disallow: /index.php?*

[FONT=Tahoma, Arial, Helvetica, sans-serif]В данном случае мы закрываем все страницы в которых попадается "[/FONT]component"[FONT=Tahoma, Arial, Helvetica, sans-serif] и "index.php?"[/FONT]. Я рекомендую тестировать такие вещи в вебмастере яндекса и гугла. Они сразу показывают открыт или закрыт урл для робота
тяжело разобрать ) но главное уловила
дайте ссылочку, где проверять робот, плиз
Цитата
Koza Moza пишет:
Цитата
vmex.com.ua пишет:
Disallow: /component/ - закроет все что идет после componentDisallow: /*component* - закроет все урлы в которых встречается component

[FONT=Tahoma, Arial, Helvetica, sans-serif]Вообще Вы предоставили мало информации для того чтобы Вам дать совет. Нужно посмотреть урлы других статей[/FONT]
[FONT=Tahoma, Arial, Helvetica, sans-serif]Судя из того что Вы предоставили, правильней будет так и учитывая что на Вашем сайте:

[/FONT]
Disallow: /index.php/*component*
Disallow: /index.php?*

[FONT=Tahoma, Arial, Helvetica, sans-serif]В данном случае мы закрываем все страницы в которых попадается "[/FONT]component"[FONT=Tahoma, Arial, Helvetica, sans-serif] и "index.php?"[/FONT]. Я рекомендую тестировать такие вещи в вебмастере яндекса и гугла. Они сразу показывают открыт или закрыт урл для робота
тяжело разобрать ) но главное уловила
дайте ссылочку, где проверять робот, плиз
Поправил, блин напрягают меня коды на форуме

Итак, ссылки:
webmaster.yandex.ru
https://www.google.com/webmasters/

Зарегистрируйтесь в вебмастерах добавляете сайт и в анализе роботса смотрите что блокируется а что нет. Более того при помощи вебмастеров и роботс Вы оперативно сможете удалять ненужные страницы сайта (дубли, ошибки и т.д.)
Изменено: vmex.com.ua - 18 Марта 2013 15:08
Огромное спасибо всем! разобралась )
Вы только имейте в виду, что при таком варианте Disallow: /*component* - закроются все урлы, в которых встречается сочетание букв "component", в том числе, например, такие: http://mysite.org/.../1234-megacomponent-something-else, а при таком Disallow: */component закроются урлы, в которых встречается именно /component/.
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 2, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
10:39 Адалт сайты и сетки PBN на DLE 
04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
01:11 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
23:28 Помогите с оценкой стоимости сайта 
18:38 Продажа аккаунтов HH.RU 
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь