Помогите составить правильный robot txt
Страницы: 1
Помогите составить правильный robot txt
Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth


test1.ru/?smth=blabla 
test1.ru/index.php
test1.ru/index.php?smth=blabla


Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы

Бесплатная контекстная реклама

а как правильно выглядит главная статья?
Цитата
span4bob пишет:
а как правильно выглядит главная статья?
[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью
Статья отображается вот так
test1.ru/statya/ 

Вот это
test1.ru/?smth=blabla  - дублирует главную страницу
test1.ru/index.php  - дублирует главную страницу
test1.ru/index.php?smth=blabla  - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью
Мертвый форум
Тему можете закрыть
Цитата
Василь Панко пишет:
Мертвый форум
Может так: Disallow: /*?* Disallow: /*.php
Цитата
Абырвалг пишет:
Может так: Disallow: /*?*
тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.
Кому-нибудь другому очень просто рассказать, как надо жить и что делать. Я бы любому все объяснил. И даже показал бы, к каким огням лететь и как. А если то же самое надо делать самому, сидишь на месте или летишь совсем в другую сторону. © В. П.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:39 Отсутствует поле "position" 
15:20 Индексация ?fbclid= яндексом 
11:33 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
22:11 Как адаптировать javascript под мобильные устройства? 
15:05 Adtrafico - Правильная партнёрская сеть под бурж трафик 
14:39 Kokos.click - народная тизерная сеть! 
13:24 Как сделать или правильно скопировать скрипт промокода 
16:11 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
15:53 Программы для рассылок, накрутки, продвижения и ведения аккаунтов в skype, instagram, vk, ok, avito, lenta.ru 
15:37 Белый вывод сайта в топ Яндекса 
14:51 Прогон XRUMER 
13:07 AllChange24 - Лучший сервис по обмену электронных валют 
11:53 Рассылка сообщений | спам Вконтакте и Telegram | Инвайты 
11:21 Прогон по личной базе, больше 1000 трастовых сайтов! Продвижение СЧ и НЧ запросов + рост показателей! Гарантии! 
12:41 Plussy - лучшая партнерка для гемблинг 
11:50 Цель: 100 000 руб. в месяц с 1-го канала на Яндекс Дзен © БЛОГ НЕ БЛОГЕРА 
18:02 Бесплатно за отзыв можем сделать 1 услугу в соц сетях 
16:48 Как я отдыхал в другой стране, видел много коров, коз и не одной улитки. 
15:44 Прошу помощи по составлению семитического ядра (взаимообмен) 
14:56 Наши машинки 
13:52 4 ключа к Elite-Board 2.3 (400 руб.)