В чем отличие?
Страницы: 1 2 След.
В чем отличие?
Здравствуйте, подскажите пожалуйста в чем отличие директив Disallow: /search/tag и  Disallow: /tag/ для robots.txt?
Все прекрасно, всем добра :)
Цитата
Виктория Артюхова пишет:
Disallow: /search/tag
закроет поиск по тегам 



Цитата
Виктория Артюхова пишет:
Disallow: / tag /
закроет теги )) 
Даже не знаю, а что за движок? 
У меня вордпресс, просто в нете неактуальная информация насчет Disallow: /search/, пытаюсь разобраться.Как понять поиск по тегам? То есть пользователи вводят в поиск на сайте названия тегов? А роботы результаты поиска - не должны индексировать? Или как?
Нет, не должны! Это будут дубли Вашего уникального контента.
Цитата
Виктория Артюхова пишет:
То есть пользователи вводят в поиск на сайте названия тегов?
Поисковики индексируют вот такие странички

Рисунок
Это понятно, теги у меня закрыты...а стоит ли ставить в роботс вот это: 
Disallow: /search/tag или

Disallow: /search/
Лучше всё поставить в Disallow:
И /search/ и /search/tag ( поиск и поиск по тегам) А лучше всего закрыть формы поиска по тегам и сам поиск в нофоллов и ноиндекс через сам шаблон.
У меня на одном сайте стоит скрипт записи логов посещений юзеров и юзер агентов. После закрытия поисков через шаблон и нагрузка меньше стала на сервер и не стали по тегам шарахаться все пауки
[CODE]<noindex><a class="tag" rel="nofollow" href="/search/tag/........[/CODE]
Просто дело в том, что когда выходит результат поиска по сайту, то отображается такая вот (например) ссылка:                                                              super-tourism.ru/?s=%D0%BD%D0%BE%D1%80%D0%B2%D0%B5%D0%B3%D0%B8%D1%8F&op.x=-1117&op.y=-65
В этой ссылке стоит знак вопроса, а в роботсе у меня закрыты все ссылки со знаками вопроса...

Или все же поставить в роботс все, что я написала выше? А хуже от этого не будет?
Кто-нибудь знает ответ на мой вопрос? smile:) Ответьте пожалуйста!
Цитата
Виктория Артюхова пишет:
в чем отличие
Disallow: /search/tag закроет от индексации все что начинается с  /search/tag, если в директории  search есть другие каталоги, например  /search/mod - то они будут индексироваться.
Disallow: /search/ запрет на индексацию всего содержимого директории search.
Disallow: /search/tag* закроет от индексации все, где встречается последовательность /search/tag.
---
В роботсе должны быть закрыты все технические каталоги и данные.
Starik, спасиб, а увас в роботсе все эти директории прописаны?
Цитата
Виктория Артюхова пишет:
а увас в роботсе все эти директории прописаны?
У меня нет сайтов на WP. Повторюсь, должны быть закрыты все технические разделы. Просто ПС такие вещи прекрасно понимают и данные страницы после залета в индекс, благополучно оттуда удаляются (спустя время). Но, например, страницы печати или поиска могут быть проиндексированы и восприняты ПС как часто обновляемые с определенной долей "полезности". Что в свою очередь приводит к частичным дублям контента, и возможной смене релевантности. Такой сгенерированный контент конечно постепенно вылетает из индексной базы, но такие страницы становятся помехой для обхода ресурса роботом. И новые документы, со свежей информацией он может обойти стороной пока не наткнется на них (по внешней ссылке или например, по ссылке с главной).
---
В Вашем случае, Disallow: /search/ и Disallow: */?s* решает проблему.
---
Правильный роботс не панацея, но он способствует правильной индексации сайта в целом, не более.
А мне тоже помогите, закрываю теги от индексации, а они всё равно индексируются что в гугле, что в чше.. Вордпресс
Чат коммерсантов http://kommersant.august4u.ru/
Цитата
Батыр пишет:
А мне тоже помогите, закрываю теги от индексации, а они всё равно индексируются что в гугле, что в чше.. Вордпресс
Посмотрите:

_http://ivan.cheredov.com/%D0%B7%D0%B0%D0%BF%D1%80%D­0%B5%D1%82-%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA­%D1%81%D0%B0%D1%86%D0%B8%D0%B8­-robots-txt-htaccess/
Starik, спасибо еще раз большое smile:) теперь все встало на свои места в голове smile:)
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
18:53 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса 
09:05 Swapwatch.org — Мониторинг криптовалютных обменников 
08:45 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
04:13 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
00:01 E-currency.exchange — ваш помощник в мире обменов 
23:40 Monitex: Мониторинг с кэшбэком 80% в USDT 
22:35 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:41 Веривикация Авито 
12:41 Туалетные секреты: Замурчательная тема 
11:53 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
11:43 Сайты Рунета 
03:45 Гильотина для классиков: Клод доедает физические книги 
01:24 Точные прогнозы на футбол 
19:29 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи