Почему запрещенные к сканированию URL все равно видны в поиске?

В большинстве своем так быть не должно, но так иногда случается. Странице как бы не положено индексироваться, поскольку это запрещено в том же robots.txt, однако в выдаче Google URL-адрес все равно значится.

За объяснениями обратились к Джону Мюллеру (John Mueller):

"Что происходит с PageRank урла, который запрещен в файле robots.txt? Он исчезает, как в случае с noindex/nofollow?"

Ответ представителя поисковой системы:

"Страница, которую в robots.txt запретили сканировать нашим ботам, все равно может собирать ссылки на себя. Как итог, такой урл может отображаться в результатах нашего поиска (с или без контента)".

Какой вывод из этого напрашивается. Примат ссылочного профиля над директивами в robots.txt. Ссылки все еще рулят – во всех смыслах!

Напомним, с помощью нашего генератора вы можете создать правильный robots.txt для своего сайта.

8 Мая 2019

Возврат к списку

Новые темы	Объявления	Свободное общение
03:24 Апдейт ИКС 24.05.19 01:17 Как Яндекс.Директ блокирует аккаунт сразу после пополнения счёта... 00:00 Quick Sender - одна из лучших программ для работы с "ВКонтакте" 23:51 Новый сайт без продвижения 22:27 Рекламная сеть яндекса личный опыт 18:59 Помогите пожалуйста советом по оптимизации 18:50 Вопрос по поводу текстов	00:11 Софт на заказ 19:50 Семантическое ядро по новой технологии + LSI с ручной группировкой 18:37 Сервис по раскрутке в соц сетях 16:44 Продажа быстрых SSH туннелей. Любые страны с гарантией! 16:24 Продвину сайт качественными ссылками. Рост посещаемости, позиций и ИКС. Крауд ссылки недорого + скидки. 15:30 200 открытых анкорных ссылок всего за 100 рублей 13:33 17 ссылок для продвижения в Google	20:27 Партнерка по торговле акциями КАНнАБИСа, получай кеш с любой сделки. 20:26 Наши машинки 19:06 На какую тему создать сайт? 18:36 Как восстановить удаленные файлы на компьютере? 12:58 Кому пришла выплата с AdSense? 09:39 Акции, облигации, банковский депозит? 13:21 Топик поднятия настроения. Приколы, картинки, видео и пр.