Помогите составить правильный robot txt

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 14:11

Есть на сайте много дублей. Все они состоят с структуры

test1.ru/?smth

test1.ru/?smth=blabla
test1.ru/index.php
test1.ru/index.php?smth=blabla

Подскажите пожалуйста, как правильно закрыть от индексации все эти страницы

span4bob

Сообщений: 6461 Регистрация: Апр 2013

30 Мая 2016 14:53

а как правильно выглядит главная статья?

Дай новую жизнь своим БЭКЛИНКАМ!!!
▼
► ◄
▲

Продвижение сателлитами ☻

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:08

Цитата
span4bob пишет: а как правильно выглядит главная статья?

[FONT=Tahoma, Arial, Helvetica, sans-serif]
Статья отображается вот так[/FONT]
test1.ru/statya/
[FONT=Tahoma, Arial, Helvetica, sans-serif]Вот это[/FONT]

test1.ru/?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/index.php?smth=blabla - [FONT=Tahoma, Arial, Helvetica, sans-serif]дублирует главную страницу[/FONT]
test1.ru/statya[FONT=Tahoma, Arial, Helvetica, sans-serif]/?smth=blabla - [/FONT]дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

30 Мая 2016 15:09

Статья отображается вот так
test1.ru/statya/

Вот это
test1.ru/?smth=blabla - дублирует главную страницу
test1.ru/index.php - дублирует главную страницу
test1.ru/index.php?smth=blabla - дублирует главную страницу

test1.ru/statya/?smth=blabla - дублирует статью

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:02

Мертвый форум

Василь Панко

Сообщений: 7 Регистрация: Май 2016

31 Мая 2016 01:03

Тему можете закрыть

Абырвалг

Сообщений: 1305 Регистрация: Июл 2012

31 Мая 2016 02:19

Цитата
Василь Панко пишет: Мертвый форум

Может так: Disallow: /*?* Disallow: /*.php

Дивергент

Сообщений: 22390 Регистрация: Май 2011

31 Мая 2016 02:38

Цитата
Абырвалг пишет: Может так: Disallow: /?

тут аккуратнее, человек не назвал CMS, а у некоторых подобным можно отшить от сканирования очень много реальных страниц.

Мы не можем похвастаться мудростью глаз
И умелыми жестами рук,
Нам не нужно все это, чтобы друг друга понять.
Сигареты в руках, чай на столе - так замыкается круг,
И вдруг нам становится страшно что-то менять.

Новые темы	Объявления	Свободное общение
19:04 Статистика по "альтернативе": Есть ли смысл сейчас добавлять сайт в Rambler/Mail? 12:58 16.01.2026. Пятничный откат, глюки с регионами и "Нейро" в товарке 10:26 Монетизация пошла: OpenAI начинает крутить баннеры и ссылки в диалогах 10:25 че по ПФ щас реально работает?? (кроме старья) 10:22 Минус 30% дохода? Chrome теперь скрывает футерные баннеры (Sticky Ads) 10:21 Началось? На Reddit паника: Google массово рассылает варнинги за AI-контент 10:20 Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент	19:23 GoodsMoney.io 19:09 Volna.money 19:06 Nexulume.com Обменник без AML и KYC 15:08 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 13:48 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:01 Современный скрипт обменника электронных валют 11:59 Яндекс Вордстат Extension - браузерное расширение для сбора семантики	19:03 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 12:54 Кодерам приготовиться? DeepSeek анонсировал "монстра кодинга" на следующий месяц 12:40 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 20:57 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 15:17 SENDERSEX.COM - Тизерная партнёрка онлайн игры Эротические Фанты Онлайн 18:50 Добро пожаловать в цифровой мир... 22:14 Какой фильм вы любите посмотреть перед сном?

Новые темы

Объявления

Свободное общение

19:04 Статистика по "альтернативе": Есть ли смысл сейчас добавлять сайт в Rambler/Mail?
12:58 16.01.2026. Пятничный откат, глюки с регионами и "Нейро" в товарке
10:26 Монетизация пошла: OpenAI начинает крутить баннеры и ссылки в диалогах
10:25 че по ПФ щас реально работает?? (кроме старья)
10:22 Минус 30% дохода? Chrome теперь скрывает футерные баннеры (Sticky Ads)
10:21 Началось? На Reddit паника: Google массово рассылает варнинги за AI-контент
10:20 Почему ваш сервер тормозит: это не DDOS, это нейросети "кушают" ваш контент

19:23 GoodsMoney.io
19:09 Volna.money
19:06 Nexulume.com Обменник без AML и KYC
15:08 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
13:48 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
12:01 Современный скрипт обменника электронных валют
11:59 Яндекс Вордстат Extension - браузерное расширение для сбора семантики

19:03 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
12:54 Кодерам приготовиться? DeepSeek анонсировал "монстра кодинга" на следующий месяц
12:40 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
20:57 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
15:17 SENDERSEX.COM - Тизерная партнёрка онлайн игры Эротические Фанты Онлайн
18:50 Добро пожаловать в цифровой мир...
22:14 Какой фильм вы любите посмотреть перед сном?

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP