Почему запрещенные к сканированию URL все равно видны в поиске?
Почему запрещенные к сканированию URL все равно видны в поиске?В большинстве своем так быть не должно, но так иногда случается. Странице как бы не положено индексироваться, поскольку это запрещено в том же robots.txt, однако в выдаче Google URL-адрес все равно значится.

За объяснениями обратились к Джону Мюллеру (John Mueller):

"Что происходит с PageRank урла, который запрещен в файле robots.txt? Он исчезает, как в случае с noindex/nofollow?"

Ответ представителя поисковой системы:

"Страница, которую в robots.txt запретили сканировать нашим ботам, все равно может собирать ссылки на себя. Как итог, такой урл может отображаться в результатах нашего поиска (с или без контента)".

Какой вывод из этого напрашивается. Примат ссылочного профиля над директивами в robots.txt. Ссылки все еще рулят – во всех смыслах!

Напомним, с помощью нашего генератора вы можете создать правильный  robots.txt для своего сайта.

8 Мая 2019

Возврат к списку



Новые темыОбъявленияСвободное общение
07:06 14 сентября 2019 Яндекс выдача 
05:48 купил базу для прогонов хрумером 
02:25 Продвижение в ТОП Яндекс. Мега быстро! 
19:24 Что за инструмент продвижения? 
11:18 Автоматеический вывод статьи соответствующей даты 
10:16 Яндекс Справочник(карты) - отображение в выдаче 
21:39 Яндекс выдача 13.09.2019 сегодня 
02:27 [Бесплатный тест] Топовые мобильные прокси RU, UA, UK. AIRSOCKS 3G / 4G / LTE. С подменой Passive OS fingerprint (Windows / Mac / Android / iPhone) 
02:24 Белый вывод сайта в топ Яндекса 
00:37 Метод получения качественных ссылок за копейки (автоматизация 90%) 
23:27 Парсер телефонов Юла 
21:32 Proxywhite прокси ipv4/ipv6 индивидуальные оптом 
21:16 Размещу 1501 ссылку на Ваш сайт. + Бонус 
20:31 Легко! Качественно! Доступно! Профессионально пишу и размножаю тексты 
07:35 Наши машинки 
02:00 Цель: 100 000 руб. в месяц с 1-го канала на Яндекс Дзен © БЛОГ НЕ БЛОГЕРА 
17:29 Оптимизация шаблона: теги h3-h4 
17:20 Сайт с пометкой вредоносное ПО от гугла 
14:32 Партнерская программа Affiliates5plus с выплатами до 60% 
12:07 Кинотеатры онлайн - прямая реклама роликов ютуб, работает ли? 
09:49 Plussy - лучшая партнерка для гемблинг