Помогите составить правильный robot txt

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 14:11

Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth

test1.ru/?smth=blabla
test1.ru/index.php
test1.ru/index.php?smth=blabla

Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы

Комплексное SEO продвижение в поисковых системах Яндекс, Google

span4bob

Сообщений: 6332 Регистрация: Апр 2013

30 Мая 2016 14:53

а как правильно выглядит главная статья?

Новогодние скидки на прогоны - Такого Вы ещё не в-и-д-е-л-и!!!
▼
► ◄
▲

Продвижение сателлитами ☻

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:08

Цитата
span4bob пишет: а как правильно выглядит главная статья?

[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:09

Статья отображается вот так
test1.ru/statya/

Вот это
test1.ru/?smth=blabla - дублирует главную страницу
test1.ru/index.php - дублирует главную страницу
test1.ru/index.php?smth=blabla - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:02

Мертвый форум

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:03

Тему можете закрыть

Абырвалг

Сообщений: 1268 Регистрация: Июл 2012

31 Мая 2016 02:19

Цитата
Василь Панко пишет: Мертвый форум

Может так: Disallow: /*?* Disallow: /*.php

Дивергент

Сообщений: 11811 Регистрация: Май 2011

31 Мая 2016 02:38

Цитата
Абырвалг пишет: Может так: Disallow: /?

тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.

За окнами солнце, за окнами свет - это день.
Ну а я всегда любил ночь.
И это мое дело - любить ночь,
И это мое право - уйти в тень.

Новые темы	Объявления	Свободное общение
01:11 Блокировка за спам при расслылке уведомлений в каталоге. 00:29 Что такое Яндекс Икс / Как накрутить Яндекс ИКС 23:01 31.08.2018 Апдейт Яндекс ИКС 21:02 Статьи на сайте с услугами 18:14 Проблемы с файлзилой или с хостингом? 18:04 Проседает трафик в Гугле 17:58 Adsense личный опыт	23:39 Создание графики для Вас и вашего сайта 22:46 Продвижение сайтов, прогон Xrumer, грамотно наращиваем посещаемость вашего ресурса! 21:11 Слежка за конкурентами. Поиск открытых счётчиков статистики Liveinternet.ru 19:12 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 18:58 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 18:24 Разработка баннеров для интернет-рекламы: html5, flash, gif и jpg 17:30 Интернет магазин спортивного питания, дропшиппинг	00:58 Ссылка с морды 22:23 Действительно ли all.biz так хорош? 19:41 Кому пришла выплата с AdSense? 18:40 Провожу бесплатные аудиты сайтов, консультации, сбор семантических ядер 15:48 Индексация ссылок в профилях форумов 07:58 Нужны комментарии на блог (платно) 00:44 (затёр)-агентство «(затёр).COM»

Новые темы

Объявления

Свободное общение

01:11 Блокировка за спам при расслылке уведомлений в каталоге.
00:29 Что такое Яндекс Икс / Как накрутить Яндекс ИКС
23:01 31.08.2018 Апдейт Яндекс ИКС
21:02 Статьи на сайте с услугами
18:14 Проблемы с файлзилой или с хостингом?
18:04 Проседает трафик в Гугле
17:58 Adsense личный опыт

23:39 Создание графики для Вас и вашего сайта
22:46 Продвижение сайтов, прогон Xrumer, грамотно наращиваем посещаемость вашего ресурса!
21:11 Слежка за конкурентами. Поиск открытых счётчиков статистики Liveinternet.ru
19:12 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр.
18:58 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000
18:24 Разработка баннеров для интернет-рекламы: html5, flash, gif и jpg
17:30 Интернет магазин спортивного питания, дропшиппинг

00:58 Ссылка с морды
22:23 Действительно ли all.biz так хорош?
19:41 Кому пришла выплата с AdSense?
18:40 Провожу бесплатные аудиты сайтов, консультации, сбор семантических ядер
15:48 Индексация ссылок в профилях форумов
07:58 Нужны комментарии на блог (платно)
00:44 (затёр)-агентство «(затёр).COM»

05.08.2018 01:58	Помогите разобраться, что за левые сайты ссылаются на мой ресурс
01.08.2018 23:33	Здравствуйте помогите разобратся
26.07.2018 13:27	Помогите новичку с покупкой сайта
14.06.2018 13:10	Помогите задать элемент списка по умолчанию в пхп
02.06.2018 12:04	Помогите с посещаемостью сайта