Как в robots.txt закрыть страницы /page от индексации

Rich Dad

Сообщений: 487 Регистрация: Окт 2011

16 Мая 2016 06:13

Как в robots.txt закрыть страницы /page от индексации, как правильно прописать? На сколько я знаю их нужно закрывать

Иван Севостьянов

Сообщений: 2109 Регистрация: Окт 2011

16 Мая 2016 08:18

Сделайте лучше через тег роботс=ноуиндекс. Тк закрытые страницы в роботс.тхт все равно могут появляться в индексе гугла.
http://alaev.info/blog/post/3900
Там есть ваш пункт

Изменено: Иван Севостьянов - 16 Мая 2016 08:18

Товарные тизеры - от 3 рублей/клик | Стабильный хостинг от 90 рублей

Rich Dad

Сообщений: 487 Регистрация: Окт 2011

16 Мая 2016 11:49

Цитата
Иван Севостьянов пишет: Сделайте лучше через тег роботс=ноуиндекс. Тк закрытые страницы в роботс.тхт все равно могут появляться в индексе гугла. http://alaev.info/blog/post/3900 Там есть ваш пункт

Я понял как закрыть например главную страницу от индексации тем методом, но как закрыть все страницы /page я что то не понял. Что бы закрыь главную страницу надо будет в main.tpl прописать

Код
<meta name="robots" content="noindex">

А что бы закрыть все страницы /page где этот код прописывать?

Saybb

Сообщений: 1443 Регистрация: Мар 2013

16 Мая 2016 12:04

Rich Dad, Вы вообще читать умеете? Вам дали ссылку где все подробно написано как и где это сделать

Лучшая программа для проверки позиций сайта (15 дней теста бесплатно)

Сайт с онлайн трансляциями, плеерами и видео, Практика рабочая тема Яндекс

web_junkie

Сообщений: 162 Регистрация: Мар 2015

16 Мая 2016 13:07

Disallow: /page/

Но нужно смотреть, как конкретно выглядят урлы. Мне вот так пришлось закрывать:

Disallow: */page/*
Disallow: /page*

Абузоустойчивый хостинг для киносайтов

Иван Севостьянов

Сообщений: 2109 Регистрация: Окт 2011

16 Мая 2016 15:24

Цитата
Saybb пишет: Rich Dad, Вы вообще читать умеете? Вам дали ссылку где все подробно написано как и где это сделать

Во во, там все дословно расписано что куда вставить и прописать.

Новые темы	Объявления	Свободное общение
01:59 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта 18:01 Раскрутка форума 13:23 Рост эффективности моего интернет‑магазина 21:08 Adsense личный опыт	11:08 BMB exchange - обменник криптовалют, в котором всё под контролем 10:52 Современный скрипт обменника электронных валют 08:50 Monitex: Мониторинг с кэшбэком 80% в USDT 04:11 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 22:58 SOCKS5 приватные прокси на 30 дней для PayPal 22:57 Google Voice аккаунты для бесплатных SMS и звонков 22:57 PayPal аккаунты для любых целей	00:06 Точные прогнозы на футбол 20:44 Огородники 19:47 молодильные яблоки и живая вода 16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 22:45 С юмором по жизни! 15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)

Новые темы

Объявления

Свободное общение

01:59 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки
10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице
10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта
10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта
18:01 Раскрутка форума
13:23 Рост эффективности моего интернет‑магазина
21:08 Adsense личный опыт

11:08 BMB exchange - обменник криптовалют, в котором всё под контролем
10:52 Современный скрипт обменника электронных валют
08:50 Monitex: Мониторинг с кэшбэком 80% в USDT
04:11 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
22:58 SOCKS5 приватные прокси на 30 дней для PayPal
22:57 Google Voice аккаунты для бесплатных SMS и звонков
22:57 PayPal аккаунты для любых целей

00:06 Точные прогнозы на футбол
20:44 Огородники
19:47 молодильные яблоки и живая вода
16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
22:45 С юмором по жизни!
15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
07:17 Почему не обновляется счетчик ИКС (индекса качества сайта)

03.12.2021 19:52	Как в SMF форуме закрыть ссылки с сообщения в nofollow?
16.03.2021 17:04	Как закрыть такую страницу - https://сайт.com/2021/01/15/
19.01.2021 13:01	фото как закрыть от индексации
05.12.2020 10:26	Как правильно закрыть категорию в robots.txt
24.11.2019 18:31	sitemap и robots.txt