Почему запрещенные к сканированию URL все равно видны в поиске?
Почему запрещенные к сканированию URL все равно видны в поиске?В большинстве своем так быть не должно, но так иногда случается. Странице как бы не положено индексироваться, поскольку это запрещено в том же robots.txt, однако в выдаче Google URL-адрес все равно значится.

За объяснениями обратились к Джону Мюллеру (John Mueller):

"Что происходит с PageRank урла, который запрещен в файле robots.txt? Он исчезает, как в случае с noindex/nofollow?"

Ответ представителя поисковой системы:

"Страница, которую в robots.txt запретили сканировать нашим ботам, все равно может собирать ссылки на себя. Как итог, такой урл может отображаться в результатах нашего поиска (с или без контента)".

Какой вывод из этого напрашивается. Примат ссылочного профиля над директивами в robots.txt. Ссылки все еще рулят – во всех смыслах!

Напомним, с помощью нашего генератора вы можете создать правильный  robots.txt для своего сайта.

8 Мая 2019

Возврат к списку



Новые темыОбъявленияСвободное общение
17:29 Как продвигать сайт с неуникальным контентом 
13:54 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
04:05 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
21:57 Обменник криптовалюты OnlyCrypto 
20:55 Скрипт обменника валют 
20:47 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
14:49 TETChange-Обменник криптовалют 
13:53 MintChange — Быстрый и надёжный обмен криптовалюты 
18:46 Аккаунты Avito (юр.лица) 
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
22:08 Накрутка поисковых подсказок 
05:04 Точные прогнозы на футбол 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
12:23 150+ хакерских поисковых систем и инструментов 
17:41 Стряхнуть обыденность - об Агасфере