Подскажите как закрыть в robots.txt

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:17

Здравствуйте, подскажите пожалуйста как закрыть в роботс.txt дубли страниц

сайт/news?page=1
сайт/news?page=2
сайт/news?page=3
тоесть мне нужно закрыть ?page=1 ?page=2 ?page=3
Ну и так далее

Примерно, Я думаю это сделать так:

User-agent: Yandex
Disallow: /news?page

Главное чтобы не закрыть сами новости сайт/news/03-08-11/narusheniya-pozharnoi-bezopasnosti

Изменено: Сергей Цветков - 23 Февраля 2012 23:18

Redrik

Сообщений: 18 Регистрация: Авг 2011

23 Февраля 2012 23:28

Цитата
Сергей Цветков пишет: Главное чтобы не закрыть сами новости сайт/news/03-08-11/narusheniya-pozharnoi-bezopasnosti

Есть высокая вероятность, что это тоже перекроется. Роботы, они иногда по своему разумению начинают действоавать. Хочешь чтобы было без приключений, перекрой не через роботс.txt а с помощью любого сеоплагина, в котором есть функция закрытия от индексации.

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:38

Мне вот такую интересную тему подсказали
Для закрытия таких дублей в robots.txt нужно добавить:

Disallow: /*?*

Disallow: /*?
Что думаете по этому поводу?

Вячеслав Андреев

Сообщений: 668 Регистрация: Дек 2010

23 Февраля 2012 23:47

уж лучше тогда сделать

Disallow: /news?page*

так хотя бы лишнее не захватит.

* - переменная, тут может быть что угодно, или вообще ни чего.

а по поводу новостей, то мой способ их не заденет, т.к урл разные

что бы их задело нужно что бы их адрес начинался с

/news?page

а он начинается с

/news/

Изменено: Вячеслав Андреев - 23 Февраля 2012 23:55

Лучший хостинг которым я пользовался от 115 рублей в месяц - Клик

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:55

Спасибо, так и сделаю

vladi kino

Сообщений: 1 Регистрация: Фев 2012

24 Февраля 2012 01:00

Здравствуйте, подскажите пожалуйста как сделать робот текст , добавляю сайт и он блокирует как мне быть ???

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

24 Февраля 2012 04:21

Цитата
vladi kino пишет: Здравствуйте, подскажите пожалуйста как сделать робот текст , добавляю сайт и он блокирует как мне быть ??? Что то не понял, про что вы говорите

Новые темы	Объявления	Свободное общение
12:29 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 12:22 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 11:52 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом) 11:48 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 11:45 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики? 11:41 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 11:38 Плагин ответа	11:21 Trustpilot Reviews \| Подниму рейтинг вашей компании 11:19 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 11:16 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 11:15 Продвижение сайта: [SEO-трафик][Вывод в ТОП][Крауд-маркетинг + SEO] 11:13 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 10:32 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 08:45 Мониторинг обменников Сrypto-scout.io	11:55 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 11:43 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 08:25 Отвратительное поведение 05:31 Точные прогнозы на футбол 11:00 Кто может дать инвайт на WebMasters? 17:58 Список обновленных тем пуст...

Новые темы

Объявления

Свободное общение

12:29 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed?
12:22 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу
11:52 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом)
11:48 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?
11:45 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики?
11:41 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing
11:38 Плагин ответа

11:21 Trustpilot Reviews | Подниму рейтинг вашей компании
11:19 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод
11:16 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата
11:15 Продвижение сайта: [SEO-трафик][Вывод в ТОП][Крауд-маркетинг + SEO]
11:13 Установка|Настройка|Доработка|Наполнение сайтов|Дизайн|3D|Видеомонтаж
10:32 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin
08:45 Мониторинг обменников Сrypto-scout.io

11:55 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
11:50 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
11:43 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
08:25 Отвратительное поведение
05:31 Точные прогнозы на футбол
11:00 Кто может дать инвайт на WebMasters?
17:58 Список обновленных тем пуст...

09.05.2025 21:39	Подскажите где продвигать сайт.
01.05.2025 14:28	Подскажите нормальные поисковики на ТОР браузере
25.03.2024 21:58	Подскажите парсер порно тубов
20.09.2022 22:38	Подскажите как заказывать лиды на товарку? У кого-то есть успешный опыт?
02.08.2022 21:08	Подскажите как выгрузить данные нескольких сайтов для SEO?