Помогите составить правильный robot txt

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 14:11

Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth

test1.ru/?smth=blabla
test1.ru/index.php
test1.ru/index.php?smth=blabla

Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы

Комплексное SEO продвижение в поисковых системах Яндекс, Google

span4bob

Сообщений: 6318 Регистрация: Апр 2013

30 Мая 2016 14:53

а как правильно выглядит главная статья?

Новогодние скидки на прогоны - Такого Вы ещё не в-и-д-е-л-и!!!
▼
► ◄
▲

Продвижение сателлитами ☻

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:08

Цитата
span4bob пишет: а как правильно выглядит главная статья?

[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:09

Статья отображается вот так
test1.ru/statya/

Вот это
test1.ru/?smth=blabla - дублирует главную страницу
test1.ru/index.php - дублирует главную страницу
test1.ru/index.php?smth=blabla - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:02

Мертвый форум

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:03

Тему можете закрыть

Абырвалг

Сообщений: 1255 Регистрация: Июл 2012

31 Мая 2016 02:19

Цитата
Василь Панко пишет: Мертвый форум

Может так: Disallow: /*?* Disallow: /*.php

Дивергент

Сообщений: 11391 Регистрация: Май 2011

31 Мая 2016 02:38

Цитата
Абырвалг пишет: Может так: Disallow: /?

тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.

Я закрою глаза, я обиды забуду,
Я прощу всё, что можно, и всё, что нельзя.
Но другим никогда, видит бог, я не буду,
Если что-то не так, вы простите меня.

Новые темы	Объявления	Свободное общение
11:19 Помогите новичку с покупкой сайта 10:43 АП выдача 23.07 10:43 Апдейт тИЦ 21.07.2018 09:19 БЕСПЛАТНАЯ Верстка PSD, zeplin, figma. 08:39 Kokos.click - народная тизерная сеть! 21:52 Bodyclick.net - рекламная партнерская сеть. 21:20 Adsense личный опыт	11:58 Вывод в ТОП Google. 30 вечных ссылок с PR9 11:49 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 10:09 Статейные ссылки по низкой цене и с хорошим качеством 00:02 Продвижение петиций на сайте change.org 21:20 Прогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов 18:45 Качественный рерайтинг, копирайтинг 16:14 Продажа Dedicated servers (дедиков)!	11:53 Кому пришла выплата с AdSense? 11:03 Новая биржа Satoexchange за регистрацию аккаунта дарит 1 000 SATX (150$) 11:00 Не кто старый Камп или ноут не отдаст в добрые руки. 09:49 Ведение и поддержка сайтов от профессионала 23:27 Как тебе такое, Илон Маск? 19:15 Топ самых лучших книг 17:50 Нужен рерайтер, кино-тематика!

Новые темы

Объявления

Свободное общение

11:19 Помогите новичку с покупкой сайта
10:43 АП выдача 23.07
10:43 Апдейт тИЦ 21.07.2018
09:19 БЕСПЛАТНАЯ Верстка PSD, zeplin, figma.
08:39 Kokos.click - народная тизерная сеть!
21:52 Bodyclick.net - рекламная партнерская сеть.
21:20 Adsense личный опыт

11:58 Вывод в ТОП Google. 30 вечных ссылок с PR9
11:49 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
10:09 Статейные ссылки по низкой цене и с хорошим качеством
00:02 Продвижение петиций на сайте change.org
21:20 Прогон по твиттеру, постинг в 1500 аккунтов, ускорение индексации и переиндексация сайтов, сателлитов, дорвеев и ссылок с прогонов
18:45 Качественный рерайтинг, копирайтинг
16:14 Продажа Dedicated servers (дедиков)!

11:53 Кому пришла выплата с AdSense?
11:03 Новая биржа Satoexchange за регистрацию аккаунта дарит 1 000 SATX (150$)
11:00 Не кто старый Камп или ноут не отдаст в добрые руки.
09:49 Ведение и поддержка сайтов от профессионала
23:27 Как тебе такое, Илон Маск?
19:15 Топ самых лучших книг
17:50 Нужен рерайтер, кино-тематика!

сегодня, 11:19	Помогите новичку с покупкой сайта
14.06.2018 13:10	Помогите задать элемент списка по умолчанию в пхп
02.06.2018 12:04	Помогите с посещаемостью сайта
09.04.2018 12:18	Помогите увеличить трафик
03.02.2018 16:57	Знающие люди помогите с вопросом