Индексируются закрытые в роботсе страницы.

Сообщений: 297 Регистрация: Окт 2011

3 Мая 2013 18:03

Собственно закрыл я некоторые пару ссылок находящиеся на главной от индексации в яндексе в роботс . Через яндекс вебмастер проверил что эти урл запрещены к индексации и роботс прописан правильно.

Но яндекс в этот же день взял и проиндексировал эти запрещенные страницы.Это нормально или нет? Или он сперва их поиндексирует а потом выкинет?Так вообще должно происходить с яндексом - индексирование закрытых ссылок в роботс ?

Олег

Сообщений: 3242 Регистрация: Окт 2010

3 Мая 2013 18:10

Цитата
Валентин Семёнов пишет: Это нормально или нет?

Вообще не нормально, но очень часто бывает на практике. По идеи должен выкинуть.

А вообще всем рекомендую самый эффективный, 100% способ закрыть от индексации и сканирования (robots.txt не запрещает сканировать) - это отдавать 403 код ответа сервера

Изменено: Олег - 3 Мая 2013 18:11

Прогон по Twitter, FriendFeed, Jujuju, и Livejournal - быстробот гарантирован

Качественный хостинг от 50 р.

Лучшая биржа контента

Валентин Семёнов

Сообщений: 297 Регистрация: Окт 2011

3 Мая 2013 18:19

Цитата
Олег пишет: это отдавать 403 код ответа сервера

А на сам закрытый таким образом контент после этого можно будет зайти?

Изменено: Валентин Семёнов - 3 Мая 2013 18:20

Олег

Сообщений: 3242 Регистрация: Окт 2010

3 Мая 2013 18:32

Цитата
Валентин Семёнов пишет: А на сам закрытый таким образом контент после этого можно будет зайти?

Смотря как реализовать: если через сервер закрыть, то на страницу не попадешь, а если с помощью php, чтоб просто хедере отдавался 403 код, то страница будет доступна.

Самый простой способ реализации, если страница физически существует на сервере, это добавить в самое начало страницы следующий код:

Код
<?php header("HTTP/1.1 403 Forbidden"); ?>

Изменено: Олег - 3 Мая 2013 18:32

Новые темы	Объявления	Свободное общение
23:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 22:30 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 22:21 Слипание слов в блоке 22:13 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 22:05 С чего сейчас проще начать? 21:57 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 21:25 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку?	22:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 22:17 Продам домен translated.ru 21:00 Portfel.cc - современный помощник в Ваших финансовых операциях. 19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB \| Мобильные-$2/GB \| Datacenter-$1/GB \| PREMIUM-$4 /GB 15:05 Mixmasters - Exchange without AML and KYC 13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 11:11 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата	23:08 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:05 Огородники 13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 13:02 С юмором по жизни! 05:10 Точные прогнозы на футбол 16:47 Какой фильм вы любите посмотреть перед сном?

Новые темы

Объявления

Свободное общение

23:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода?
22:30 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика
22:21 Слипание слов в блоке
22:13 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update
22:05 С чего сейчас проще начать?
21:57 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов?
21:25 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку?

22:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика
22:17 Продам домен translated.ru
21:00 Portfel.cc - современный помощник в Ваших финансовых операциях.
19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB | Мобильные-$2/GB | Datacenter-$1/GB | PREMIUM-$4 /GB
15:05 Mixmasters - Exchange without AML and KYC
13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок.
11:11 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата

23:08 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила
17:05 Огородники
13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
13:02 С юмором по жизни!
05:10 Точные прогнозы на футбол
16:47 Какой фильм вы любите посмотреть перед сном?

16.02.2017 15:43	Как быстро индексируются обратные ссылки на сайт?
19.05.2015 00:19	Как индексируются картинки?
13.05.2015 19:05	Не индексируются страницы
11.01.2015 17:42	Индексируются ли ссылки с форумов?
18.04.2014 13:38	ТИЦ + не индексируются новые страницы