Как запретить в robots.txt динамические страницы?
Страницы: 1
Как запретить в robots.txt динамические страницы?
Добрый день!При создании скриптом (посторонним от cms) файла sitemap, в карту попадают много ссылок со страниц поиска.
Пример: 
http://example.com/conversations/all/?search=%23%D0%B0%D0%B2%D1%82%D0%BE%D1%80%3A%D0%B8%D0%BC%D1%8F
http://example.com/conversations/world-of-tanks/?search=%23%D1%81+%D0%BE%D1%82%D0%B2%D0%B5%D1%82%D0%B0%D0%BC%D0%B8

Каким образом можно в роботсе запретить индекс таких вот страниц? Ведь их попадает в карту пару сотен! Общее, что объединяет эти страницы я выделил. Мне нужна лишь формула, аля "Disallow: /*/?search=" (это не работает).
Изменено: Денис Владимирович - 18 Декабря 2013 16:40
так и писать 
Код
 Disallow: /?search
запретит все страницы начинающиеся с  /?search.
запретить  conversations/all/?search  и  /conversations/world-of-tanks/?search одной строкой не выйдет,    роботс.тхт не поддерживает регулярные выражения. ТОчнее, не все поисковивки поймут, и например, яша может проиндексировать, а гугл нет, будет каша.
ТАк что, прописывайте на каждой строке отдельно

Код
 Disallow: /conversations/all/?search
 Disallow: /conversations/world-of-tanks/?search
 
Можно проще написать, чтобы в дальнейшем не париться по этому поводу.
Код
Disallow: /conversations/world-of-tanks/?* 
Disallow:  /conversations/all/?*
перед знаком ? можете написать то, что вам нужно, а * говорит о любых символах после знака ?.
таким образом вы отсекаете зразу лишнее и не нужно будет что-то потом дописывать.
думаю разберетесь smile:)
Изменено: Konstantin Gladkih - 18 Декабря 2013 18:59
Цитата
Konstantin Gladkih пишет:
Disallow: /conversations/world-of-tanks/?*
Ну да, только я так понимаю что  world-of-tanks  это раздел, в котором находятся новости. Например  site.ru/conversations/world-of-tanks/?url_novosti.html   Офигенно будет, когда они все  закроются от индекса через роботс.
Использовал Disallow: /*search=Вот что ЯRндекс говорит:

Рисунок



А вот что Гугл сказал:

Рисунок
smile:)
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:45 С чего сейчас проще начать? 
19:31 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
08:21 Продвижение-2022: Гугл все? Нет – Гугл не все! 
08:05 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 
18:49 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
13:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 
12:47 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
18:46 Прямой поставщик услуг для MAX 
17:52 Mixmasters - Exchange without AML and KYC 
16:47 Продам домен translated.ru 
16:11 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси! 
14:43 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
14:24 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
12:54 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
19:38 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
17:56 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
14:56 молодильные яблоки и живая вода 
06:50 Ставки на супер тренды в спорте 
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
17:05 Огородники