Почему запрещенные к сканированию URL все равно видны в поиске?
Почему запрещенные к сканированию URL все равно видны в поиске?В большинстве своем так быть не должно, но так иногда случается. Странице как бы не положено индексироваться, поскольку это запрещено в том же robots.txt, однако в выдаче Google URL-адрес все равно значится.

За объяснениями обратились к Джону Мюллеру (John Mueller):

"Что происходит с PageRank урла, который запрещен в файле robots.txt? Он исчезает, как в случае с noindex/nofollow?"

Ответ представителя поисковой системы:

"Страница, которую в robots.txt запретили сканировать нашим ботам, все равно может собирать ссылки на себя. Как итог, такой урл может отображаться в результатах нашего поиска (с или без контента)".

Какой вывод из этого напрашивается. Примат ссылочного профиля над директивами в robots.txt. Ссылки все еще рулят – во всех смыслах!

Напомним, с помощью нашего генератора вы можете создать правильный  robots.txt для своего сайта.

8 Мая 2019

Возврат к списку



Новые темыОбъявленияСвободное общение
18:16 Как заблочить роботов, которые кладут сайт 
16:21 Не восстанавливается адсенс от коронавируса 
16:20 Работает ли ссылочное продвижение 2019 – 2020? 
15:39 Подчеркивания CSS 
15:12 Adtrafico - Правильная партнёрская сеть под бурж трафик 
13:08 Плагин SEO для сайта на WP 
13:02 Аналог ахрефса на год 
18:07 Продам базу трейдеров, рынок финансовой (слит в одни руки, ещё не продзванивалась) очень горячая 
16:29 BestChange – обменивать электронную валюту можно быстро и выгодно 
14:20 Продажа бота в Телеграм по поиску попутчиков 
14:03 Купон, промокод яндекс Директ 7000/15000 руб для любого домена! 
13:48 Facebook комбайн. Парсер Facebook. 5 лет на рынке ПО. 
10:59 Комплексный прогон по трастовым сайтам, статейное размещение. Рост НЧ-СЧ, Тиц-пр. 
10:42 Majento SiteAnalyzer - бесплатная программа для аудита и анализа сайта 
15:51 SEO продвижение сайтов в Яндекс, Google. Поднятие ИКС сайту, исправления ошибок, разработка стратегий 
14:32 [b]Webvork [/b]- международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:31 За сколько можно сейчас купить каналы Яндекс. Дзен? 
09:09 Верховный суд разрешил судиться в российских судах с Facebook за блокировки 
09:07 19-летний волжанин заработал несколько миллионов рублей на выдуманных проститутках 
07:43 Ставки в БК 
22:46 Я отходил от компьютера