Как запретить в robots.txt динамические страницы?
Страницы: 1
Как запретить в robots.txt динамические страницы?
Добрый день!При создании скриптом (посторонним от cms) файла sitemap, в карту попадают много ссылок со страниц поиска.
Пример: 
http://example.com/conversations/all/?search=%23%D0%B0%D0%B2%D1%82%D0%BE%D1%80%3A%D0%B8%D0%BC%D1%8F
http://example.com/conversations/world-of-tanks/?search=%23%D1%81+%D0%BE%D1%82%D0%B2%D0%B5%D1%82%D0%B0%D0%BC%D0%B8

Каким образом можно в роботсе запретить индекс таких вот страниц? Ведь их попадает в карту пару сотен! Общее, что объединяет эти страницы я выделил. Мне нужна лишь формула, аля "Disallow: /*/?search=" (это не работает).
Изменено: Денис Владимирович - 18 Декабря 2013 16:40
так и писать 
Код
 Disallow: /?search
запретит все страницы начинающиеся с  /?search.
запретить  conversations/all/?search  и  /conversations/world-of-tanks/?search одной строкой не выйдет,    роботс.тхт не поддерживает регулярные выражения. ТОчнее, не все поисковивки поймут, и например, яша может проиндексировать, а гугл нет, будет каша.
ТАк что, прописывайте на каждой строке отдельно

Код
 Disallow: /conversations/all/?search
 Disallow: /conversations/world-of-tanks/?search
 
Можно проще написать, чтобы в дальнейшем не париться по этому поводу.
Код
Disallow: /conversations/world-of-tanks/?* 
Disallow:  /conversations/all/?*
перед знаком ? можете написать то, что вам нужно, а * говорит о любых символах после знака ?.
таким образом вы отсекаете зразу лишнее и не нужно будет что-то потом дописывать.
думаю разберетесь smile:)
Изменено: Konstantin Gladkih - 18 Декабря 2013 18:59
Цитата
Konstantin Gladkih пишет:
Disallow: /conversations/world-of-tanks/?*
Ну да, только я так понимаю что  world-of-tanks  это раздел, в котором находятся новости. Например  site.ru/conversations/world-of-tanks/?url_novosti.html   Офигенно будет, когда они все  закроются от индекса через роботс.
Использовал Disallow: /*search=Вот что ЯRндекс говорит:

Рисунок



А вот что Гугл сказал:

Рисунок
smile:)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:11 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
21:45 Как сократить ссылку и зачем это делать. 
16:49 Perfect.Studio: InstAccountsManager — лучший инструмент для автоматизации заработка в Instagram 
19:14 Magic click - гемблинг пп, ставки выше конкурентов 
15:37 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:38 Вопрос по Cloudflare 
16:33 DreamCash.tl - заработок на онлайн-видео. До 95% отчислений, отличный конверт! 
13:49 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
11:20 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 
11:05 Высококачественные и надежные прокси-серверы и 5G 
10:14 BestChange – обменивать электронную валюту можно быстро и выгодно 
21:12 Ural-obmen.ru — выгодный сервис обмена 
12:35 Современный скрипт обменника электронных валют 
11:00 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
02:47 Точные прогнозы на футбол 
20:22 Как получить рефералов и посетителей на сайт бесплатно. 
18:31 Видимо, похороны СУПРа уже прошли как-то по-тихому 
12:48 Каспкрски ОС 
11:21 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
14:41 Бесплатный мини-аудит юзабилити и конверсии + технический SEO-аудит в подарок 
15:24 Добро пожаловать в цифровой мир...