Индексируются закрытые в роботсе страницы.
Страницы: 1
Индексируются закрытые в роботсе страницы.
Собственно закрыл я некоторые пару ссылок  находящиеся на главной от индексации в яндексе в роботс . Через яндекс вебмастер проверил что эти урл запрещены к индексации и роботс прописан правильно.

Но яндекс в этот же день взял и проиндексировал эти запрещенные страницы.Это нормально или нет? Или он сперва их поиндексирует а потом выкинет?Так вообще должно происходить с яндексом - индексирование закрытых ссылок в роботс ?
Цитата
Валентин Семёнов пишет:
Это нормально или нет?
Вообще не нормально, но очень часто бывает на практике. По идеи должен выкинуть.


А вообще всем рекомендую самый эффективный, 100% способ закрыть от индексации и сканирования (robots.txt не запрещает сканировать) - это отдавать 403 код ответа сервера
Изменено: Олег - 3 Мая 2013 18:11
Цитата
Олег пишет:
это отдавать 403 код ответа сервера

А на сам закрытый таким образом контент после этого можно будет зайти?
Изменено: Валентин Семёнов - 3 Мая 2013 18:20
Цитата
Валентин Семёнов пишет:
А на сам закрытый таким образом контент после этого можно будет зайти?
Смотря как реализовать: если через сервер закрыть, то на страницу не попадешь, а если с помощью php, чтоб просто хедере отдавался 403 код, то страница  будет доступна.


Самый простой способ реализации, если страница физически существует на сервере, это добавить в самое начало страницы следующий код:


Код
<?php
header("HTTP/1.1 403 Forbidden");
?>
Изменено: Олег - 3 Мая 2013 18:32
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
18:38 Продажа аккаунтов HH.RU 
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
10:46 Linken Sphere – браузер-антидетект нового поколения 
05:06 CoinCapital  
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь