Подскажите как закрыть в robots.txt

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:17

Здравствуйте, подскажите пожалуйста как закрыть в роботс.txt дубли страниц

сайт/news?page=1
сайт/news?page=2
сайт/news?page=3
тоесть мне нужно закрыть ?page=1 ?page=2 ?page=3
Ну и так далее

Примерно, Я думаю это сделать так:

User-agent: Yandex
Disallow: /news?page

Главное чтобы не закрыть сами новости сайт/news/03-08-11/narusheniya-pozharnoi-bezopasnosti

Изменено: Сергей Цветков - 23 Февраля 2012 23:18

Redrik

Сообщений: 18 Регистрация: Авг 2011

23 Февраля 2012 23:28

Цитата
Сергей Цветков пишет: Главное чтобы не закрыть сами новости сайт/news/03-08-11/narusheniya-pozharnoi-bezopasnosti

Есть высокая вероятность, что это тоже перекроется. Роботы, они иногда по своему разумению начинают действоавать. Хочешь чтобы было без приключений, перекрой не через роботс.txt а с помощью любого сеоплагина, в котором есть функция закрытия от индексации.

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:38

Мне вот такую интересную тему подсказали
Для закрытия таких дублей в robots.txt нужно добавить:

Disallow: /*?*

Disallow: /*?
Что думаете по этому поводу?

Вячеслав Андреев

Сообщений: 668 Регистрация: Дек 2010

23 Февраля 2012 23:47

уж лучше тогда сделать

Disallow: /news?page*

так хотя бы лишнее не захватит.

* - переменная, тут может быть что угодно, или вообще ни чего.

а по поводу новостей, то мой способ их не заденет, т.к урл разные

что бы их задело нужно что бы их адрес начинался с

/news?page

а он начинается с

/news/

Изменено: Вячеслав Андреев - 23 Февраля 2012 23:55

Лучший хостинг которым я пользовался от 115 рублей в месяц - Клик

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:55

Спасибо, так и сделаю

vladi kino

Сообщений: 1 Регистрация: Фев 2012

24 Февраля 2012 01:00

Здравствуйте, подскажите пожалуйста как сделать робот текст , добавляю сайт и он блокирует как мне быть ???

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

24 Февраля 2012 04:21

Цитата
vladi kino пишет: Здравствуйте, подскажите пожалуйста как сделать робот текст , добавляю сайт и он блокирует как мне быть ??? Что то не понял, про что вы говорите

Новые темы	Объявления	Свободное общение
14:31 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ	19:49 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 17:13 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20 16:45 Услуги продвижения в авито 15:40 TokenTrade — Ваш новый надежный обменник 15:15 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 13:22 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 11:07 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?

Новые темы

Объявления

Свободное общение

14:31 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума
00:19 Продвижение по ключам
17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
14:07 2Index - быстрая индексация страниц сайта и обратных ссылок
12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
22:23 Подскажите нормальный сервис накрутки ПФ

19:49 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
17:13 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20
16:45 Услуги продвижения в авито
15:40 TokenTrade — Ваш новый надежный обменник
15:15 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
13:22 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
11:07 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox

16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь
22:55 Ну что, кто куда деваете свои сайты?
22:34 Используете беспроводные наушники?

09.05.2025 21:39	Подскажите где продвигать сайт.
01.05.2025 14:28	Подскажите нормальные поисковики на ТОР браузере
25.03.2024 21:58	Подскажите парсер порно тубов
20.09.2022 22:38	Подскажите как заказывать лиды на товарку? У кого-то есть успешный опыт?
02.08.2022 21:08	Подскажите как выгрузить данные нескольких сайтов для SEO?