Помогите составить правильный robot txt
Страницы: 1
Помогите составить правильный robot txt
Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth


test1.ru/?smth=blabla 
test1.ru/index.php
test1.ru/index.php?smth=blabla


Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы
а как правильно выглядит главная статья?
Цитата
span4bob пишет:
а как правильно выглядит главная статья?
[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью
Статья отображается вот так
test1.ru/statya/ 

Вот это
test1.ru/?smth=blabla  - дублирует главную страницу
test1.ru/index.php  - дублирует главную страницу
test1.ru/index.php?smth=blabla  - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью
Мертвый форум
Тему можете закрыть
Цитата
Василь Панко пишет:
Мертвый форум
Может так: Disallow: /*?* Disallow: /*.php
Цитата
Абырвалг пишет:
Может так: Disallow: /*?*
тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
18:05 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
13:00 2Index - быстрая индексация страниц сайта и обратных ссылок 
12:13 Чем бы вы занялись, если ... АПдейт Яндекс выдача 9 июня 2024 
12:10 VK обогнала в мае YouTube по доле мобильного трафика 
15:10 Adtrafico - Правильная партнёрская сеть под бурж трафик 
21:27 Самозанятые смогут зарабатывать в рекламной сети VK 
15:33 Не удалось получить доступ к Robots.txt 
20:13 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
15:52 Ural-obmen.ru — выгодный сервис обмена 
15:38 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 
23:48 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 
15:40 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
15:11 Активация и настройка «Битрикс24» от агентства маркетинга Roinext.marketing 
11:58 USMobileSMSBot - 
19:07 Точные прогнозы на футбол 
12:15 150+ хакерских поисковых систем и инструментов 
21:31 У Sora появился конкурент из Китая — нейросеть Kling, которая генерирует 1080p-видеоролики по описанию 
21:29 В России готовят проект о запрете рекламы в заблокированных соцсетях 
21:25 В соцсети Х (экс-Twitter) разрешили размещать эротику и порно 
08:22 С юмором по жизни! 
00:08 Жизнь за границей, куда переехать.