Индексируются закрытые в роботсе страницы.

Сообщений: 297 Регистрация: Окт 2011

3 Мая 2013 18:03

Собственно закрыл я некоторые пару ссылок находящиеся на главной от индексации в яндексе в роботс . Через яндекс вебмастер проверил что эти урл запрещены к индексации и роботс прописан правильно.

Но яндекс в этот же день взял и проиндексировал эти запрещенные страницы.Это нормально или нет? Или он сперва их поиндексирует а потом выкинет?Так вообще должно происходить с яндексом - индексирование закрытых ссылок в роботс ?

Олег

Сообщений: 3242 Регистрация: Окт 2010

3 Мая 2013 18:10

Цитата
Валентин Семёнов пишет: Это нормально или нет?

Вообще не нормально, но очень часто бывает на практике. По идеи должен выкинуть.

А вообще всем рекомендую самый эффективный, 100% способ закрыть от индексации и сканирования (robots.txt не запрещает сканировать) - это отдавать 403 код ответа сервера

Изменено: Олег - 3 Мая 2013 18:11

Прогон по Twitter, FriendFeed, Jujuju, и Livejournal - быстробот гарантирован

Качественный хостинг от 50 р.

Лучшая биржа контента

Валентин Семёнов

Сообщений: 297 Регистрация: Окт 2011

3 Мая 2013 18:19

Цитата
Олег пишет: это отдавать 403 код ответа сервера

А на сам закрытый таким образом контент после этого можно будет зайти?

Изменено: Валентин Семёнов - 3 Мая 2013 18:20

Олег

Сообщений: 3242 Регистрация: Окт 2010

3 Мая 2013 18:32

Цитата
Валентин Семёнов пишет: А на сам закрытый таким образом контент после этого можно будет зайти?

Смотря как реализовать: если через сервер закрыть, то на страницу не попадешь, а если с помощью php, чтоб просто хедере отдавался 403 код, то страница будет доступна.

Самый простой способ реализации, если страница физически существует на сервере, это добавить в самое начало страницы следующий код:

Код
<?php header("HTTP/1.1 403 Forbidden"); ?>

Изменено: Олег - 3 Мая 2013 18:32

Новые темы	Объявления	Свободное общение
11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 15:10 Google Discover Core Update: Дискавер отделяют от поиска? 11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?	08:58 Мониторинг обменников Сrypto-scout.io 04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 02:31 Профессиональный и грамотный дизайн от DesignCash 18:27 Nexulume.com Обменник без AML и KYC 15:45 Mixmasters - Exchange without AML and KYC 10:22 Swapwatch.org — Мониторинг криптовалютных обменников 10:19 SwapPix.io - быстрый и безопасный обменник криптовалют.	08:50 Гильотина для классиков: Клод доедает физические книги 08:40 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 05:10 Точные прогнозы на футбол 18:34 Ставки на супер тренды в спорте 11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко

Новые темы

Объявления

Свободное общение

11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо?
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут
15:10 Google Discover Core Update: Дискавер отделяют от поиска?
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?

08:58 Мониторинг обменников Сrypto-scout.io
04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
02:31 Профессиональный и грамотный дизайн от DesignCash
18:27 Nexulume.com Обменник без AML и KYC
15:45 Mixmasters - Exchange without AML and KYC
10:22 Swapwatch.org — Мониторинг криптовалютных обменников
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют.

08:50 Гильотина для классиков: Клод доедает физические книги
08:40 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
05:10 Точные прогнозы на футбол
18:34 Ставки на супер тренды в спорте
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко

16.02.2017 15:43	Как быстро индексируются обратные ссылки на сайт?
19.05.2015 00:19	Как индексируются картинки?
13.05.2015 19:05	Не индексируются страницы
11.01.2015 17:42	Индексируются ли ссылки с форумов?
18.04.2014 13:38	ТИЦ + не индексируются новые страницы