Как запретить в robots.txt динамические страницы?
Страницы: 1
Как запретить в robots.txt динамические страницы?
Добрый день!При создании скриптом (посторонним от cms) файла sitemap, в карту попадают много ссылок со страниц поиска.
Пример: 
http://example.com/conversations/all/?search=%23%D0%B0%D0%B2%D1%82%D0%BE%D1%80%3A%D0%B8%D0%BC%D1%8F
http://example.com/conversations/world-of-tanks/?search=%23%D1%81+%D0%BE%D1%82%D0%B2%D0%B5%D1%82%D0%B0%D0%BC%D0%B8

Каким образом можно в роботсе запретить индекс таких вот страниц? Ведь их попадает в карту пару сотен! Общее, что объединяет эти страницы я выделил. Мне нужна лишь формула, аля "Disallow: /*/?search=" (это не работает).
Изменено: Денис Владимирович - 18 Декабря 2013 16:40
так и писать 
Код
 Disallow: /?search
запретит все страницы начинающиеся с  /?search.
запретить  conversations/all/?search  и  /conversations/world-of-tanks/?search одной строкой не выйдет,    роботс.тхт не поддерживает регулярные выражения. ТОчнее, не все поисковивки поймут, и например, яша может проиндексировать, а гугл нет, будет каша.
ТАк что, прописывайте на каждой строке отдельно

Код
 Disallow: /conversations/all/?search
 Disallow: /conversations/world-of-tanks/?search
 
Можно проще написать, чтобы в дальнейшем не париться по этому поводу.
Код
Disallow: /conversations/world-of-tanks/?* 
Disallow:  /conversations/all/?*
перед знаком ? можете написать то, что вам нужно, а * говорит о любых символах после знака ?.
таким образом вы отсекаете зразу лишнее и не нужно будет что-то потом дописывать.
думаю разберетесь smile:)
Изменено: Konstantin Gladkih - 18 Декабря 2013 18:59
Цитата
Konstantin Gladkih пишет:
Disallow: /conversations/world-of-tanks/?*
Ну да, только я так понимаю что  world-of-tanks  это раздел, в котором находятся новости. Например  site.ru/conversations/world-of-tanks/?url_novosti.html   Офигенно будет, когда они все  закроются от индекса через роботс.
Использовал Disallow: /*search=Вот что ЯRндекс говорит:

Рисунок



А вот что Гугл сказал:

Рисунок
smile:)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
16:17 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
13:51 Скрипт обменника валют 
07:11 Купить отзывы на Яндекс и Гугл картах, на Авито, на Отзовике и IRecommend 
04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 
13:16 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
11:11 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты?