Почему запрещенные к сканированию URL все равно видны в поиске?

В большинстве своем так быть не должно, но так иногда случается. Странице как бы не положено индексироваться, поскольку это запрещено в том же robots.txt, однако в выдаче Google URL-адрес все равно значится.

За объяснениями обратились к Джону Мюллеру (John Mueller):

"Что происходит с PageRank урла, который запрещен в файле robots.txt? Он исчезает, как в случае с noindex/nofollow?"

Ответ представителя поисковой системы:

"Страница, которую в robots.txt запретили сканировать нашим ботам, все равно может собирать ссылки на себя. Как итог, такой урл может отображаться в результатах нашего поиска (с или без контента)".

Какой вывод из этого напрашивается. Примат ссылочного профиля над директивами в robots.txt. Ссылки все еще рулят – во всех смыслах!

Напомним, с помощью нашего генератора вы можете создать правильный robots.txt для своего сайта.

8 Мая 2019

Возврат к списку

Новые темы	Объявления	Свободное общение
07:06 14 сентября 2019 Яндекс выдача 05:48 купил базу для прогонов хрумером 02:25 Продвижение в ТОП Яндекс. Мега быстро! 19:24 Что за инструмент продвижения? 11:18 Автоматеический вывод статьи соответствующей даты 10:16 Яндекс Справочник(карты) - отображение в выдаче 21:39 Яндекс выдача 13.09.2019 сегодня	02:27 [Бесплатный тест] Топовые мобильные прокси RU, UA, UK. AIRSOCKS 3G / 4G / LTE. С подменой Passive OS fingerprint (Windows / Mac / Android / iPhone) 02:24 Белый вывод сайта в топ Яндекса 00:37 Метод получения качественных ссылок за копейки (автоматизация 90%) 23:27 Парсер телефонов Юла 21:32 Proxywhite прокси ipv4/ipv6 индивидуальные оптом 21:16 Размещу 1501 ссылку на Ваш сайт. + Бонус 20:31 Легко! Качественно! Доступно! Профессионально пишу и размножаю тексты	07:35 Наши машинки 02:00 Цель: 100 000 руб. в месяц с 1-го канала на Яндекс Дзен © БЛОГ НЕ БЛОГЕРА 17:29 Оптимизация шаблона: теги h3-h4 17:20 Сайт с пометкой вредоносное ПО от гугла 14:32 Партнерская программа Affiliates5plus с выплатами до 60% 12:07 Кинотеатры онлайн - прямая реклама роликов ютуб, работает ли? 09:49 Plussy - лучшая партнерка для гемблинг