Помогите составить правильный robot txt
Страницы: 1
Помогите составить правильный robot txt
Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth


test1.ru/?smth=blabla 
test1.ru/index.php
test1.ru/index.php?smth=blabla


Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы
а как правильно выглядит главная статья?
Цитата
span4bob пишет:
а как правильно выглядит главная статья?
[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью
Статья отображается вот так
test1.ru/statya/ 

Вот это
test1.ru/?smth=blabla  - дублирует главную страницу
test1.ru/index.php  - дублирует главную страницу
test1.ru/index.php?smth=blabla  - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью
Мертвый форум
Тему можете закрыть
Цитата
Василь Панко пишет:
Мертвый форум
Может так: Disallow: /*?* Disallow: /*.php
Цитата
Абырвалг пишет:
Может так: Disallow: /*?*
тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.
Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:53 Трамп пригрозил Google судом 
20:28 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
17:52 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
15:07 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:18 Как получить большую скидку на покупку Xrumer, Xevil 
01:39 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
21:22 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:56 Sapfirex.com - Современный сервис обмена криптовалют 
11:23 Дизайн | Редизайн | Верстка - сайтов, банеров, логотипов 
10:38 Продаю личные аккаунты на фриланс биржах с возрастом, отзывами и рейтингом. 
10:17 Куплю аккаунт на сайте freelancehunt 
09:53 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
04:54 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
20:45 CryptoScan.one - Принимайте USDT TRC-20 на свой личный счет 
14:10 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
18:43 Точные прогнозы на футбол 
17:12 С юмором по жизни! 
21:57 Новый уровень мошенничества: как россиян обманывают с помощью фейковых порнороликов 
08:08 Клещи 
08:05 Telegram не смог провести различие между требованиями автократических режимов и законными демократическими запросами 
23:43 Шашлыки в 2012-2022 году