Почему гугл индексирует страницы, запрещенные в robots.txt?
Страницы: Пред. 1 2
Почему гугл индексирует страницы, запрещенные в robots.txt?
Я при составлении запроса на удаление указал url примерно такого вида - http://сайт.орг/user/*
интересно так с символами замены можно?
на самом деле перед заливкой данных на ресурс и вообще поднятии сайта надо говорить чтобы банились поисковики, ибо гугль приходит на сайт чуть ли не раньше модера- ибо заливал так сайт:
1. Поставил движок, залогинился
2. Установил плагины, настроил, подправил темку- минут 20
3. Начал писать- накропал штук 10 постов
4. На следующий день в выдаче Hello world
5. Новые посты потянулись только через пару дней
Делюсь личным опытом: запустил блог, естественным было желание полностью избавиться от любого мусорного контента, оставив только страницы с материалами. Позакрывал в robots.txt всё что только можно, и с удивлением обнаружил, что в индекс всё равно попала куча какого-то мусора, даже если он был закрыт в robots - например, ссылки без сниппетов со странными анкорами. Если брать конкретный пример - блог у меня двуязычный, и на каждой странице был переключатель языков, который вёл на переведённую страницу. Причём ссылка указывала на URL, который был запрещён в robots.txt - и тем не менее в выдаче появлялись результаты вида "Русский", "English" - т.е. с title переключателя языков. В итоге побороть это удалось только добавлением к таким ссылкам rel="nofollow". Уже позже выяснил, что Гугл хоть и не индексирует страницу, которая закрыта в robots.txt, но индексирует ссылки на неё, которые и появляются в выдаче. Главный признак таких "случайных" страниц - отсутствие сниппета. Побороть можно только при помощи rel="nofollow"...
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
02:59 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
20:28 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Какую выбрать тему/нишу для сайта? 
16:01 Whatsapp рассылки и реселлерская программа 
15:21 PAY2DAY.TOP - Покупка и продажа криптовалюты за рубли. 
15:03 BestChange – обменивать электронную валюту можно быстро и выгодно 
14:16 Продажа аккаунтов HH.RU 
13:39 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:07 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
11:45 FastWM.org Выгодный обмен/вывод Webmoney/Ya.M/QIWI/Сбер/Приват24 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
20:17 Точные прогнозы на футбол 
12:23 150+ хакерских поисковых систем и инструментов 
08:38 Накрутка поисковых подсказок 
17:41 Стряхнуть обыденность - об Агасфере 
10:54 Добро пожаловать в цифровой мир... 
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор