Подскажите как закрыть в robots.txt

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:17

Здравствуйте, подскажите пожалуйста как закрыть в роботс.txt дубли страниц

сайт/news?page=1
сайт/news?page=2
сайт/news?page=3
тоесть мне нужно закрыть ?page=1 ?page=2 ?page=3
Ну и так далее

Примерно, Я думаю это сделать так:

User-agent: Yandex
Disallow: /news?page

Главное чтобы не закрыть сами новости сайт/news/03-08-11/narusheniya-pozharnoi-bezopasnosti

Изменено: Сергей Цветков - 23 Февраля 2012 23:18

Redrik

Сообщений: 18 Регистрация: Авг 2011

23 Февраля 2012 23:28

Цитата
Сергей Цветков пишет: Главное чтобы не закрыть сами новости сайт/news/03-08-11/narusheniya-pozharnoi-bezopasnosti

Есть высокая вероятность, что это тоже перекроется. Роботы, они иногда по своему разумению начинают действоавать. Хочешь чтобы было без приключений, перекрой не через роботс.txt а с помощью любого сеоплагина, в котором есть функция закрытия от индексации.

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:38

Мне вот такую интересную тему подсказали
Для закрытия таких дублей в robots.txt нужно добавить:

Disallow: /*?*

Disallow: /*?
Что думаете по этому поводу?

Вячеслав Андреев

Сообщений: 668 Регистрация: Дек 2010

23 Февраля 2012 23:47

уж лучше тогда сделать

Disallow: /news?page*

так хотя бы лишнее не захватит.

* - переменная, тут может быть что угодно, или вообще ни чего.

а по поводу новостей, то мой способ их не заденет, т.к урл разные

что бы их задело нужно что бы их адрес начинался с

/news?page

а он начинается с

/news/

Изменено: Вячеслав Андреев - 23 Февраля 2012 23:55

Лучший хостинг которым я пользовался от 115 рублей в месяц - Клик

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

23 Февраля 2012 23:55

Спасибо, так и сделаю

vladi kino

Сообщений: 1 Регистрация: Фев 2012

24 Февраля 2012 01:00

Здравствуйте, подскажите пожалуйста как сделать робот текст , добавляю сайт и он блокирует как мне быть ???

Сергей Цветков

Сообщений: 32 Регистрация: Фев 2012

24 Февраля 2012 04:21

Цитата
vladi kino пишет: Здравствуйте, подскажите пожалуйста как сделать робот текст , добавляю сайт и он блокирует как мне быть ??? Что то не понял, про что вы говорите

Новые темы	Объявления	Свободное общение
15:35 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 14:07 AI под надзором. Минцифры готовят клеймо для контента 00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту. 23:11 APK на паузе. Google убивает быстрый конверт 16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 15:09 А+ в MAX: Квитанция на получение денег	21:57 Volna.money 16:32 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 15:49 Европейский эквайринг 13:23 Trustpilot Reviews \| Подниму рейтинг вашей компании 13:22 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 13:22 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 13:21 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж	19:00 Панель Кнопки соцсетей 18:12 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 18:11 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:28 С юмором по жизни! 17:16 молодильные яблоки и живая вода 06:03 Точные прогнозы на футбол 15:29 Компьютерная мышь

Новые темы

Объявления

Свободное общение

15:35 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки
14:07 AI под надзором. Минцифры готовят клеймо для контента
00:12 XEvil - софт для разгадывания капчи. Бесплатная демо-версия. Привязка к SEO/SMM-софту.
23:11 APK на паузе. Google убивает быстрый конверт
16:58 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
15:38 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
15:09 А+ в MAX: Квитанция на получение денег

19:00 Панель Кнопки соцсетей
18:12 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
18:11 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила
17:28 С юмором по жизни!
17:16 молодильные яблоки и живая вода
06:03 Точные прогнозы на футбол
15:29 Компьютерная мышь

09.05.2025 21:39	Подскажите где продвигать сайт.
01.05.2025 14:28	Подскажите нормальные поисковики на ТОР браузере
25.03.2024 21:58	Подскажите парсер порно тубов
20.09.2022 22:38	Подскажите как заказывать лиды на товарку? У кого-то есть успешный опыт?
02.08.2022 21:08	Подскажите как выгрузить данные нескольких сайтов для SEO?