Стоит ли в robots.txt закрывать страницы /page/ ?

Rich Dad

Сообщений: 487 Регистрация: Окт 2011

1 Мая 2016 05:32

Стоит ли в robots.txt закрывать страницы /page/ от индексации ?

Иван Севостьянов

Сообщений: 2109 Регистрация: Окт 2011

1 Мая 2016 08:30

Конечно, а лучше тегом ноуидекс, так как закрытые в роботс они все равно вылазят в гугле.

Товарные тизеры - от 3 рублей/клик | Стабильный хостинг от 90 рублей

Rich Dad

Сообщений: 487 Регистрация: Окт 2011

1 Мая 2016 09:42

Цитата
Иван Севостьянов пишет: Конечно, а лучше тегом ноуидекс, так как закрытые в роботс они все равно вылазят в гугле.

Почему их так важно закрыть от индексации?

Иван Севостьянов Сообщений: 2109 Регистрация: Окт 2011	#4 1 Мая 2016 10:01 Потому что у этих страниц метатеги идентичны странице page/1. То есть возникает дублирование страниц. Хотя в заголовок сейчас вроде подставляется автоматом, например "страница 2" после заголовка, но все равно. Изменено: Иван Севостьянов - 1 Мая 2016 10:02

Новые темы	Объявления	Свободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?	02:11 Crypto Mixer ↔ Bitcoin Mixer ↔ Cryptocurrency tumbler ↔ No-AML 20:15 Nexulume.com Обменник без AML и KYC 17:47 Продажа аккаунтов HH.RU 17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:53 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:59 Mixmasters - Exchange without AML and KYC 09:05 Swapwatch.org — Мониторинг криптовалютных обменников	01:00 Точные прогнозы на футбол 21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 20:54 Туалетные секреты: Замурчательная тема 17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 15:24 Сайты Рунета 15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?

Новые темы

Объявления

Свободное общение

16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?

02:11 Crypto Mixer ↔ Bitcoin Mixer ↔ Cryptocurrency tumbler ↔ No-AML
20:15 Nexulume.com Обменник без AML и KYC
17:47 Продажа аккаунтов HH.RU
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
12:59 Mixmasters - Exchange without AML and KYC
09:05 Swapwatch.org — Мониторинг криптовалютных обменников

01:00 Точные прогнозы на футбол
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео?
20:54 Туалетные секреты: Замурчательная тема
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
15:24 Сайты Рунета
15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?

30.11.2022 10:08	Накрутка ПФ - сколько может стоить?
09.02.2021 10:57	Чего стоит ожидать после изменений процесса идентификации в Яндекс Дзен?
20.10.2018 20:14	Стоит ли выкладывать рекламу в яндекс ?
01.10.2018 16:57	Слетели позиции после изменения robots.txt
17.01.2018 14:13	Передается ли вес через robots.txt у Яндекса