Почему гугл индексирует страницы, запрещенные в robots.txt?
Страницы: Пред. 1 2
Почему гугл индексирует страницы, запрещенные в robots.txt?
Я при составлении запроса на удаление указал url примерно такого вида - http://сайт.орг/user/*
интересно так с символами замены можно?
на самом деле перед заливкой данных на ресурс и вообще поднятии сайта надо говорить чтобы банились поисковики, ибо гугль приходит на сайт чуть ли не раньше модера- ибо заливал так сайт:
1. Поставил движок, залогинился
2. Установил плагины, настроил, подправил темку- минут 20
3. Начал писать- накропал штук 10 постов
4. На следующий день в выдаче Hello world
5. Новые посты потянулись только через пару дней
Делюсь личным опытом: запустил блог, естественным было желание полностью избавиться от любого мусорного контента, оставив только страницы с материалами. Позакрывал в robots.txt всё что только можно, и с удивлением обнаружил, что в индекс всё равно попала куча какого-то мусора, даже если он был закрыт в robots - например, ссылки без сниппетов со странными анкорами. Если брать конкретный пример - блог у меня двуязычный, и на каждой странице был переключатель языков, который вёл на переведённую страницу. Причём ссылка указывала на URL, который был запрещён в robots.txt - и тем не менее в выдаче появлялись результаты вида "Русский", "English" - т.е. с title переключателя языков. В итоге побороть это удалось только добавлением к таким ссылкам rel="nofollow". Уже позже выяснил, что Гугл хоть и не индексирует страницу, которая закрыта в robots.txt, но индексирует ссылки на неё, которые и появляются в выдаче. Главный признак таких "случайных" страниц - отсутствие сниппета. Побороть можно только при помощи rel="nofollow"...
Страницы: Пред. 1 2
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
19:36 Стоит ли добавлять сайт в Rambler топ 100? 
13:54 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
16:02 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
19:37 Продажа лидов: форекс, инвестиции, нативка, гемблинг, чарджбеки 
15:45 Резидентные Прокси Ротационные BACKCONNECT США Европа Микс 
22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:11 Обменник криптовалюты OnlyCrypto 
17:56 Услуга: Поведенческие факторы (ПФ) для Авито 
17:31 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20 
05:04 Точные прогнозы на футбол 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
12:23 150+ хакерских поисковых систем и инструментов 
08:38 Накрутка поисковых подсказок 
17:41 Стряхнуть обыденность - об Агасфере 
10:54 Добро пожаловать в цифровой мир...