Почему запрещенные к сканированию URL все равно видны в поиске?

В большинстве своем так быть не должно, но так иногда случается. Странице как бы не положено индексироваться, поскольку это запрещено в том же robots.txt, однако в выдаче Google URL-адрес все равно значится.

За объяснениями обратились к Джону Мюллеру (John Mueller):

"Что происходит с PageRank урла, который запрещен в файле robots.txt? Он исчезает, как в случае с noindex/nofollow?"

Ответ представителя поисковой системы:

"Страница, которую в robots.txt запретили сканировать нашим ботам, все равно может собирать ссылки на себя. Как итог, такой урл может отображаться в результатах нашего поиска (с или без контента)".

Какой вывод из этого напрашивается. Примат ссылочного профиля над директивами в robots.txt. Ссылки все еще рулят – во всех смыслах!

Напомним, с помощью нашего генератора вы можете создать правильный robots.txt для своего сайта.

8 Мая 2019

Возврат к списку

Новые темы	Объявления	Свободное общение
18:16 Как заблочить роботов, которые кладут сайт 16:21 Не восстанавливается адсенс от коронавируса 16:20 Работает ли ссылочное продвижение 2019 – 2020? 15:39 Подчеркивания CSS 15:12 Adtrafico - Правильная партнёрская сеть под бурж трафик 13:08 Плагин SEO для сайта на WP 13:02 Аналог ахрефса на год	18:07 Продам базу трейдеров, рынок финансовой (слит в одни руки, ещё не продзванивалась) очень горячая 16:29 BestChange – обменивать электронную валюту можно быстро и выгодно 14:20 Продажа бота в Телеграм по поиску попутчиков 14:03 Купон, промокод яндекс Директ 7000/15000 руб для любого домена! 13:48 Facebook комбайн. Парсер Facebook. 5 лет на рынке ПО. 10:59 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 10:42 Majento SiteAnalyzer - бесплатная программа для аудита и анализа сайта	15:51 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 14:32 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 12:31 За сколько можно сейчас купить каналы Яндекс. Дзен? 09:09 Верховный суд разрешил судиться в российских судах с Facebook за блокировки 09:07 19-летний волжанин заработал несколько миллионов рублей на выдуманных проститутках 07:43 Ставки в БК 22:46 Я отходил от компьютера