Почему гугл индексирует страницы, запрещенные в robots.txt?
Страницы: 1 2 След.
Почему гугл индексирует страницы, запрещенные в robots.txt?
Мало того еще и в выдаче их показывает...
Цитата
Денис пишет:
Мало того еще и в выдаче их показывает...


И картинки, у меня аватары с форума, тянет, кнопки с сайта smile:confused:
Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.
Цитата
Олеся пишет:
кнопки с сайта

А у меня и оформление сайта берёт....
Цитата
seov пишет:
А у меня и оформление сайта берёт....


Видимо на картинки стоят прямые ссылки а файл css не запрещён?
Заработок на новых сайтах и нулевиках.

Професиональный хостинг
да, вроде css запрещены, и папки с файлами тоже закрыты от индексации....
Смотри как путь открывается со слешем на конце и без - это 2 разные страницы, проверяй правила в роботсе. Вообше поисковики туда ходят время от времени, но в выдачу не пускают.
все страницы со слешем
а в роботсе что? давай на конкретных примерх, экстрасенсов нет. тем более после нового года все медихлорианы под жёсткой интоксикацией
Код
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /page/
Disallow: /feed/
Disallow: /20*


Все страницы категорий /category/ и страницы /page/ проиндексированы и в поиске, например:
/category/wordpress/
/category/plaginyi/ и т.д.

/page/2/
/page/3/
/page/4/ и т.д.

Причем в панели инструментов гугла в пункте Просмотреть как Googlebot пишет что доступ запрещен в файле robots.txt. Вот и вызывает вопросы, если запрещен, то фиг ли они в поиске... В яндексе никаких проблем, проиндексированы только те которые не запрещены, а гугл все забрал...
ну собсна

Disallow: /category/чо_закрыть1/
Disallow: /category/чо_закрыть2/
Disallow: /category/чо_закрыть3/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
...

если закрыли после того как оно проиндексировалось, курите и ждите пока выпадет .. может до полугода так болтаться.

Я вот о чём

/page/4/
/page/4


По обоим адресам страница отдаётся? Если да то проще редирект настроить на один из или закрывать оба


Гугл и яндекс по разному работают. Есть еще каноничка, думайте
Изменено: Semantic - 3 Января 2011 11:47
Цитата
Олеся пишет:
И картинки, у меня аватары с форума, тянет, кнопки с сайта


Делайте бэкграйндом, учите CSS и кладите всё в одну папку, которую перекроете в роботсе.
Да, проиндексировалось, а потом только закрыл, гугл по началу хватал все что видел, даже и страниц то еще толком не было - это моя ошибка. Нужно было перед тем как выложить в сеть все настроить... Буду ждать, когда же он их выкинет.

При вводе в адресную строку
/page/4
редиректит на
/page/4/
с этим проблем нет. Спасибо!
Цитата
Денис пишет:
с этим проблем нет. Спасибо!


Не за что )
У Google и Yandex в панели вебмастера возможность удаления нежелательных страниц из индекса. После закрытия их от индексации стоит отправить заявку на удаление. Иначе правда, если сайт большой, можно до полугода ждать - так он их быстрее выкинет.
У меня тоже такая проблема, страницы с информацией о пользователях заблокированы в robots.txt и в панели пользователя написано что эти страницы запрещены в файле robots.txt. А они в индексе smile:confused:
Я тут прочитал в справочной гугла о метатеге noindex

_http://www.google.com/support/webmasters/bin/answer.py?answer=93710

Код
Стандарт метатега noindex описан на странице http://www.robotstxt.org/meta.html. Если у вас нет доступа к корневому каталогу вашего сервера, этот способ может быть полезен для вас, так как позволяет управлять постраничным доступом к вашему сайту.

Чтобы запретить всем роботам индексировать страницу сайта, добавьте в раздел <head> этой страницы следующий метатег:

<met a name="robots" content="noindex">

Чтобы запретить индексирование страницы вашего сайта только роботам Google и разрешить ее индексирование другим роботам, добавьте следующий метатег:

<met a name="googlebot" content="noindex">

При наличии на странице метатега noindex Google полностью исключает эту страницу из результатов поиска, даже если на нее ссылаются другие страницы. Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.

Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Если ваша страница продолжает появляться в результатах, вероятно, мы еще не просканировали ваш сайт после добавления тега. (Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег.)

Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании. Чтобы ускорить удаление, используйте инструмент удаления URL в Инструментах Google для веб-мастеров.


Непонятно, что теперь если я хочу убрать раздел /user/ при помощи тега noindex нужно убрать его из robots.txt?
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
17:01 Absence в Армении 
23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения? 
20:28 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
14:50 Какую выбрать тему/нишу для сайта? 
22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
18:11 Обменник криптовалюты OnlyCrypto 
17:56 Услуга: Поведенческие факторы (ПФ) для Авито 
17:31 CactusPay.PRO | Умная платёжная система с выводом в USDT TRC-20 
16:51 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
10:23 GoodsMoney.io 
10:16 Coin Click.cc - Быстрый и надежный обмен электронных валют в два клика 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 
20:17 Точные прогнозы на футбол 
12:23 150+ хакерских поисковых систем и инструментов 
08:38 Накрутка поисковых подсказок 
17:41 Стряхнуть обыденность - об Агасфере 
10:54 Добро пожаловать в цифровой мир...