Помогите составить правильный robot txt
Страницы: 1
Помогите составить правильный robot txt
Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth


test1.ru/?smth=blabla 
test1.ru/index.php
test1.ru/index.php?smth=blabla


Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы

Бесплатная контекстная реклама

а как правильно выглядит главная статья?
Цитата
span4bob пишет:
а как правильно выглядит главная статья?
[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla  - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью
Статья отображается вот так
test1.ru/statya/ 

Вот это
test1.ru/?smth=blabla  - дублирует главную страницу
test1.ru/index.php  - дублирует главную страницу
test1.ru/index.php?smth=blabla  - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью
Мертвый форум
Тему можете закрыть
Цитата
Василь Панко пишет:
Мертвый форум
Может так: Disallow: /*?* Disallow: /*.php
Цитата
Абырвалг пишет:
Может так: Disallow: /*?*
тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.
Кому-нибудь другому очень просто рассказать, как надо жить и что делать. Я бы любому все объяснил. И даже показал бы, к каким огням лететь и как. А если то же самое надо делать самому, сидишь на месте или летишь совсем в другую сторону. © В. П.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:40 Насколько стабильный трафик из Яндекса? 
14:33 АП ИКС 27.12.2019 
14:00 Продам аккаунт Google AdWords 
12:03 Kokos.click - народная тизерная сеть! 
11:18 Как лучше добавить русский контент на английскую версию сайта 
09:43 17 января 2020 Яндекс выдача 
09:37 Как поменять хостинг сайта 
14:25 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
12:22 Помогите оценить сайт 
12:19 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
11:35 Флудер телефонов 
11:17 Rexi.cc - Большой выбор направлений для обмена 
07:54 Размещение статей, ссылок и постовых на качественных ресурсах 
21:36 Мастер шаблона размножения статей + Ручной синонимизатор-рерайтер 
08:56 Индексация Яндекс Дзен 
22:18 С ноября не радует Адсенс. У кого также? 
20:57 Аудит Вашего сайта 
09:28 Plussy - лучшая партнерка для гемблинг 
18:31 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
17:03 Accvk.ru - магазин самых надёжных аккаунтов вконтакте и других социальных сетей [без владельцев] 
12:04 Заинтересовать 10000 человек?