Как запретить в robots.txt динамические страницы?
Страницы: 1
Как запретить в robots.txt динамические страницы?
Добрый день!При создании скриптом (посторонним от cms) файла sitemap, в карту попадают много ссылок со страниц поиска.
Пример: 
http://example.com/conversations/all/?search=%23%D0%B0%D0%B2%D1%82%D0%BE%D1%80%3A%D0%B8%D0%BC%D1%8F
http://example.com/conversations/world-of-tanks/?search=%23%D1%81+%D0%BE%D1%82%D0%B2%D0%B5%D1%82%D0%B0%D0%BC%D0%B8

Каким образом можно в роботсе запретить индекс таких вот страниц? Ведь их попадает в карту пару сотен! Общее, что объединяет эти страницы я выделил. Мне нужна лишь формула, аля "Disallow: /*/?search=" (это не работает).
Изменено: Денис Владимирович - 18 Декабря 2013 16:40
так и писать 
Код
 Disallow: /?search
запретит все страницы начинающиеся с  /?search.
запретить  conversations/all/?search  и  /conversations/world-of-tanks/?search одной строкой не выйдет,    роботс.тхт не поддерживает регулярные выражения. ТОчнее, не все поисковивки поймут, и например, яша может проиндексировать, а гугл нет, будет каша.
ТАк что, прописывайте на каждой строке отдельно

Код
 Disallow: /conversations/all/?search
 Disallow: /conversations/world-of-tanks/?search
 
Можно проще написать, чтобы в дальнейшем не париться по этому поводу.
Код
Disallow: /conversations/world-of-tanks/?* 
Disallow:  /conversations/all/?*
перед знаком ? можете написать то, что вам нужно, а * говорит о любых символах после знака ?.
таким образом вы отсекаете зразу лишнее и не нужно будет что-то потом дописывать.
думаю разберетесь smile:)
Изменено: Konstantin Gladkih - 18 Декабря 2013 18:59
Цитата
Konstantin Gladkih пишет:
Disallow: /conversations/world-of-tanks/?*
Ну да, только я так понимаю что  world-of-tanks  это раздел, в котором находятся новости. Например  site.ru/conversations/world-of-tanks/?url_novosti.html   Офигенно будет, когда они все  закроются от индекса через роботс.
Использовал Disallow: /*search=Вот что ЯRндекс говорит:

Рисунок



А вот что Гугл сказал:

Рисунок
smile:)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:04 Телега на ручнике: РКН включил замедление и логи админок покраснели 
13:48 Гугл уходит из России: почему интернет тормозит и что делать 
13:46 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 
12:54 Ютуб - все: РКН вырубил свет через DNS и НСДИ 
09:34 SEO под нейро 
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 
13:30 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
13:14 BestChange – обменивать электронную валюту можно быстро и выгодно 
10:21 AllCharge.online. Современный, быстрый и надёжный обменник 
09:42 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
09:01 Мониторинг обменников Сrypto-scout.io 
20:15 Nexulume.com Обменник без AML и KYC 
17:47 Продажа аккаунтов HH.RU 
14:02 Туалетные секреты: Замурчательная тема 
12:30 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе 
09:28 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
09:02 Ставки на супер тренды в спорте 
01:00 Точные прогнозы на футбол 
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес