Правильно ли я закрыла дубли?
Страницы: 1 2 След.
Правильно ли я закрыла дубли?, Я снова о робот.тхт
Урл статьи:
http://имя сайта/index.php/iron/101-besplatny

Урлы дублей:
http://имя сайта/index.php/component/content/article/77-novosti/101-besplatnye
http://имя сайта/index.php/component/content/?view=featured
http://имя сайта/index.php/component/content/?view=featured&limitstart=0
http://имя сайта/index.php?limitstart=0

 Так правильно закрыть в роботе?
   Disallow: /index.php?
   Disallow: /*component*
Всем спасибо smile:)
чертова джумла наплодила таких дублей по 10 на одну статью (
Не только джумла, все цмски плодят дубли. Просто пощелкайте по всем вкладкам сайта, если там попадает дублирующая инфа и в коде она не завернута в "ноуфоллоу", скрываете в роботсе. Не буду перечислять разделы которые обычно надо закрывать, их очень много и в каждой цмс разные.
Цитата
Евгений Марченко пишет:
Не только джумла, все цмски плодят дубли. Просто пощелкайте по всем вкладкам сайта, если там попадает дублирующая инфа и в коде она не завернута в "ноуфоллоу", скрываете в роботсе. Не буду перечислять разделы которые обычно надо закрывать, их очень много и в каждой цмс разные.
вам спасибо за ответ ) вопрос был в том, правильно ли я закрыла?
уже вторую неделю копаюсь в этом. Неужели никто не знает? Народ, сжальтесь надо мной ..
User-agent: *

...

Disallow: /show_cat_f2.php

Disallow: /show_cat_f.php

Disallow: /oformlenie.php

Disallow: /show_fine.php


...




Вот отрывок из моего роботса, так я закрываю формы которые могут плодить дубли
Вот кусочек моего Robots.txt для сайта на Джумле + К2

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/ 



Disallow: */index.php?

Disallow: *?limitstart=0
Disallow: */component/users/?view=reset 
Disallow: */component/users/?view=remind 
Disallow: */component/users/?view=registration

Disallow: */date/
Disallow: */tag/
Disallow: */user/
Disallow: */users/
Disallow: */itemlist/
Disallow: */component/
Disallow: */media-gallery/item/
Disallow: */media-gallery/video/*/item/
Disallow: */filmography/movies-tv-series/item/
Disallow: */blog/latest/
у меня проблема в том, что все статьи начинаются с    index.php и дубли тоже
поэтому мне надо как-то закрыть то, что находится после  index.php/component/

Вопрос:
правильно ли сделать так?

Disallow: /*component*
Нет, надо правильно вот так 

Disallow: */component/
Цитата
ZimaZelen пишет:
Нет, надо правильно вот так

Disallow: */component/
это закроет все , что идет после component/  ?

Объясните, зачем вы указали это:
Disallow: */component/users/?view=reset 
Disallow: */component/users/?view=remind 
Disallow: */component/users/?view=registration

если чуть ниже у вас написано это:

Disallow: */component/
Да у меня и */users/ закрыто. Просто вначале я дописала всё про авторизацию, а уже потом смотрела, с чем появляются дубли, и закрывала по ходу дела. 

Закрываются все адреса, содержащие указанный кусок URLа.
Disallow: /component/ - закроет все что идет после component
Disallow: /*component* - закроет все урлы в которых встречается component

Вообще Вы предоставили мало информации чтобы дать Вам совет. Нужно посмотреть несколько страниц, но исходя из того что Вы предоставили:
Disallow: /index.php/*component*
Disallow: /index.php?*
В данном случае мы щакрываем станицы с содержанием component и index.php? . Я рекомендую тестировать содержимое роботса в вебмастере яндекса и гугла
Изменено: vmex.com.ua - 18 Марта 2013 14:58
Цитата
vmex.com.ua пишет:
Disallow: /component/ - закроет все что идет после componentDisallow: /*component* - закроет все урлы в которых встречается component

[FONT=Tahoma, Arial, Helvetica, sans-serif]Вообще Вы предоставили мало информации для того чтобы Вам дать совет. Нужно посмотреть урлы других статей[/FONT]
[FONT=Tahoma, Arial, Helvetica, sans-serif]Судя из того что Вы предоставили, правильней будет так и учитывая что на Вашем сайте:

[/FONT]
Disallow: /index.php/*component*
Disallow: /index.php?*

[FONT=Tahoma, Arial, Helvetica, sans-serif]В данном случае мы закрываем все страницы в которых попадается "[/FONT]component"[FONT=Tahoma, Arial, Helvetica, sans-serif] и "index.php?"[/FONT]. Я рекомендую тестировать такие вещи в вебмастере яндекса и гугла. Они сразу показывают открыт или закрыт урл для робота
тяжело разобрать ) но главное уловила
дайте ссылочку, где проверять робот, плиз
Цитата
Koza Moza пишет:
Цитата
vmex.com.ua пишет:
Disallow: /component/ - закроет все что идет после componentDisallow: /*component* - закроет все урлы в которых встречается component

[FONT=Tahoma, Arial, Helvetica, sans-serif]Вообще Вы предоставили мало информации для того чтобы Вам дать совет. Нужно посмотреть урлы других статей[/FONT]
[FONT=Tahoma, Arial, Helvetica, sans-serif]Судя из того что Вы предоставили, правильней будет так и учитывая что на Вашем сайте:

[/FONT]
Disallow: /index.php/*component*
Disallow: /index.php?*

[FONT=Tahoma, Arial, Helvetica, sans-serif]В данном случае мы закрываем все страницы в которых попадается "[/FONT]component"[FONT=Tahoma, Arial, Helvetica, sans-serif] и "index.php?"[/FONT]. Я рекомендую тестировать такие вещи в вебмастере яндекса и гугла. Они сразу показывают открыт или закрыт урл для робота
тяжело разобрать ) но главное уловила
дайте ссылочку, где проверять робот, плиз
Поправил, блин напрягают меня коды на форуме

Итак, ссылки:
webmaster.yandex.ru
https://www.google.com/webmasters/

Зарегистрируйтесь в вебмастерах добавляете сайт и в анализе роботса смотрите что блокируется а что нет. Более того при помощи вебмастеров и роботс Вы оперативно сможете удалять ненужные страницы сайта (дубли, ошибки и т.д.)
Изменено: vmex.com.ua - 18 Марта 2013 15:08
Огромное спасибо всем! разобралась )
Вы только имейте в виду, что при таком варианте Disallow: /*component* - закроются все урлы, в которых встречается сочетание букв "component", в том числе, например, такие: http://mysite.org/.../1234-megacomponent-something-else, а при таком Disallow: */component закроются урлы, в которых встречается именно /component/.
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 
15:10 Google Discover Core Update: Дискавер отделяют от поиска? 
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
15:45 Mixmasters - Exchange without AML and KYC 
10:22 Swapwatch.org — Мониторинг криптовалютных обменников 
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют. 
15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
12:38 Bankomat001 - Сервис обмена электронных валют 
10:42 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
09:36 Мониторинг обменников Сrypto-scout.io 
16:47 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
15:30 Гильотина для классиков: Клод доедает физические книги 
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
05:09 Точные прогнозы на футбол 
23:45 Ставки на супер тренды в спорте 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко