Помогите составить правильный robot txt
Страницы: 1
Помогите составить правильный robot txt
Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth


test1.ru/?smth=blabla 
test1.ru/index.php
test1.ru/index.php?smth=blabla


Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы

Бесплатная контекстная реклама

а как правильно выглядит главная статья?
Цитата
span4bob пишет:
а как правильно выглядит главная статья?
[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью
Статья отображается вот так
test1.ru/statya/ 

Вот это
test1.ru/?smth=blabla  - дублирует главную страницу
test1.ru/index.php  - дублирует главную страницу
test1.ru/index.php?smth=blabla  - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью
Мертвый форум
Тему можете закрыть
Цитата
Василь Панко пишет:
Мертвый форум
Может так: Disallow: /*?* Disallow: /*.php
Цитата
Абырвалг пишет:
Может так: Disallow: /*?*
тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.
But you see,
it's not me,
it's not my
family
In your head,
in your head
they are fighting
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:50 Партнерская программа в образовании. Edulid.com. Более 100 офферов с ROI от 110% 
20:58 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
20:04 У Яшы обновились данные 12 марта 
19:28 RuCaptcha - обсуждение, отзывы, предложения. 
15:53 Leadgid — международная финансовая партнерская CPA сеть 
15:50 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
14:29 Проверьте свою посещаемость 
18:12 C1k: обмен Advcash , Perfect Money , skrill , NETELLER, крипта, приват24, тенге 
17:59 Автоматизация работы в браузере BAS 
17:37 Tochkaobmena.com - сервис по обмену цифровых валют! 
16:42 Bitality.cc - обменник электронных валют 
14:55 ProxyWins.com - 15% по промо-коду "venividivici" 
14:37 Chatex - P2P площадка для торговли криптовалютой 
14:25 BestChange – обменивать электронную валюту можно быстро и выгодно 
22:14 activepr.ru - back-under партнёрка с высокими ценами. 
14:36 Ozon планирует начать выдавать кредиты продавцам 
14:23 Лента.Ру: Ученые назвали укорачивающую жизнь на 28 лет привычку 
10:42 NaZapad — 17-я онлайн-конференция по SEO-продвижению на западных рынках 
23:17 Мошенница Ксения Гущина ksugushinak8@gmail.com ks.guschina@gmail.com ksygushinak 8 911 855 60 37 
23:03 Отечественный софт: госуслуги, самозанятость 
18:24 За 3 месяца количество криптовалютных миллиардеров увеличилось в 4 раза