Помогите составить правильный robot txt
Страницы: 1
Помогите составить правильный robot txt
Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth


test1.ru/?smth=blabla 
test1.ru/index.php
test1.ru/index.php?smth=blabla


Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы
а как правильно выглядит главная статья?
Цитата
span4bob пишет:
а как правильно выглядит главная статья?
[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью
Статья отображается вот так
test1.ru/statya/ 

Вот это
test1.ru/?smth=blabla  - дублирует главную страницу
test1.ru/index.php  - дублирует главную страницу
test1.ru/index.php?smth=blabla  - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью
Мертвый форум
Тему можете закрыть
Цитата
Василь Панко пишет:
Мертвый форум
Может так: Disallow: /*?* Disallow: /*.php
Цитата
Абырвалг пишет:
Может так: Disallow: /*?*
тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:56 Предлагаю крауд-ссылки под СНГ и США. :-) 
15:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
14:33 ВОпросы оптимизации сайта 
12:41 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
11:42 AMarkets - партнерские программы финансовых рынков 
22:39 Переходы по ссылкам на сайтах 
21:28 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
15:39 Накрутка ПФ для любых сайтов. Быстрый результат 
14:12 Реклама по дням дешево 
13:33 Продам аккаунты Google Play Console 
12:54 BestChange – обменивать электронную валюту можно быстро и выгодно 
12:31 Автоматическое распознавание любых видов капч - CapMonster Cloud 
01:49 Google Voice - OLD аккаунты "SMS и звонки" 
21:07 куплю ссылки 
16:10 Стоит ли удалять статьи с уникальностью ниже 65% 
13:50 Курс доллара упал ниже 85 рублей 
11:17 У Лукоморья дуб зеленый 
10:05 Список обновленных тем пуст... 
13:16 Как получить рефералов и посетителей на сайт бесплатно. 
15:28 С юмором по жизни! 
06:34 Как бесплатно раскрутить сайт в топ Яндекса и Google (ПФ)