Почему гугл индексирует страницы, запрещенные в robots.txt?

Денис

Сообщений: 1120 Регистрация: Окт 2010

2 Января 2011 15:00

Мало того еще и в выдаче их показывает...

Хостинг от 84 руб. в месяц!

Олеся

Сообщений: 890 Регистрация: Мар 2010

2 Января 2011 15:57

Цитата
Денис пишет: Мало того еще и в выдаче их показывает...

И картинки, у меня аватары с форума, тянет, кнопки с сайта smile:confused:

Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.

seov

Сообщений: 47 Регистрация: Дек 2010

2 Января 2011 16:49

Цитата
Олеся пишет: кнопки с сайта

А у меня и оформление сайта берёт....

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

2 Января 2011 16:51

Цитата
seov пишет: А у меня и оформление сайта берёт....

Видимо на картинки стоят прямые ссылки а файл css не запрещён?

Заработок на новых сайтах и нулевиках.

Професиональный хостинг

seov

Сообщений: 47 Регистрация: Дек 2010

2 Января 2011 17:31

да, вроде css запрещены, и папки с файлами тоже закрыты от индексации....

Semantic

Сообщений: 818 Регистрация: Дек 2010

3 Января 2011 06:00

Смотри как путь открывается со слешем на конце и без - это 2 разные страницы, проверяй правила в роботсе. Вообше поисковики туда ходят время от времени, но в выдачу не пускают.

Денис

Сообщений: 1120 Регистрация: Окт 2010

3 Января 2011 10:30

все страницы со слешем

Semantic

Сообщений: 818 Регистрация: Дек 2010

3 Января 2011 10:51

а в роботсе что? давай на конкретных примерх, экстрасенсов нет. тем более после нового года все медихлорианы под жёсткой интоксикацией

Денис

Сообщений: 1120 Регистрация: Окт 2010

3 Января 2011 11:03

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /page/
Disallow: /feed/
Disallow: /20*

Все страницы категорий /category/ и страницы /page/ проиндексированы и в поиске, например:
/category/wordpress/
/category/plaginyi/ и т.д.

/page/2/
/page/3/
/page/4/ и т.д.

Причем в панели инструментов гугла в пункте Просмотреть как Googlebot пишет что доступ запрещен в файле robots.txt. Вот и вызывает вопросы, если запрещен, то фиг ли они в поиске... В яндексе никаких проблем, проиндексированы только те которые не запрещены, а гугл все забрал...

Semantic

Сообщений: 818 Регистрация: Дек 2010

#10

3 Января 2011 11:46

ну собсна

Disallow: /category/чо_закрыть1/
Disallow: /category/чо_закрыть2/
Disallow: /category/чо_закрыть3/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
...

если закрыли после того как оно проиндексировалось, курите и ждите пока выпадет .. может до полугода так болтаться.

Я вот о чём

/page/4/
/page/4

По обоим адресам страница отдаётся? Если да то проще редирект настроить на один из или закрывать оба

Гугл и яндекс по разному работают. Есть еще каноничка, думайте

Изменено: Semantic - 3 Января 2011 11:47

Semantic

Сообщений: 818 Регистрация: Дек 2010

#11

3 Января 2011 11:49

Цитата
Олеся пишет: И картинки, у меня аватары с форума, тянет, кнопки с сайта

Делайте бэкграйндом, учите CSS и кладите всё в одну папку, которую перекроете в роботсе.

Денис

Сообщений: 1120 Регистрация: Окт 2010

#12

3 Января 2011 12:02

Да, проиндексировалось, а потом только закрыл, гугл по началу хватал все что видел, даже и страниц то еще толком не было - это моя ошибка. Нужно было перед тем как выложить в сеть все настроить... Буду ждать, когда же он их выкинет.

При вводе в адресную строку
/page/4
редиректит на
/page/4/
с этим проблем нет. Спасибо!

Semantic

Сообщений: 818 Регистрация: Дек 2010

#13

3 Января 2011 12:21

Цитата
Денис пишет: с этим проблем нет. Спасибо!

Не за что )

mixanech

Сообщений: 18 Регистрация: Май 2010

#14

3 Января 2011 15:47

У Google и Yandex в панели вебмастера возможность удаления нежелательных страниц из индекса. После закрытия их от индексации стоит отправить заявку на удаление. Иначе правда, если сайт большой, можно до полугода ждать - так он их быстрее выкинет.

sharkoster

Сообщений: 139 Регистрация: Май 2010

#15

4 Января 2011 11:56

У меня тоже такая проблема, страницы с информацией о пользователях заблокированы в robots.txt и в панели пользователя написано что эти страницы запрещены в файле robots.txt. А они в индексе smile:confused:

Я тут прочитал в справочной гугла о метатеге noindex

_http://www.google.com/support/webmasters/bin/answer.py?answer=93710

Код

Стандарт метатега noindex описан на странице http://www.robotstxt.org/meta.html. Если у вас нет доступа к корневому каталогу вашего сервера, этот способ может быть полезен для вас, так как позволяет управлять постраничным доступом к вашему сайту.

Чтобы запретить всем роботам индексировать страницу сайта, добавьте в раздел <head> этой страницы следующий метатег:

<met a name="robots" content="noindex">

Чтобы запретить индексирование страницы вашего сайта только роботам Google и разрешить ее индексирование другим роботам, добавьте следующий метатег:

<met a name="googlebot" content="noindex">

При наличии на странице метатега noindex Google полностью исключает эту страницу из результатов поиска, даже если на нее ссылаются другие страницы. Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.

Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Если ваша страница продолжает появляться в результатах, вероятно, мы еще не просканировали ваш сайт после добавления тега. (Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег.)

Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании. Чтобы ускорить удаление, используйте инструмент удаления URL в Инструментах Google для веб-мастеров.

Непонятно, что теперь если я хочу убрать раздел /user/ при помощи тега noindex нужно убрать его из robots.txt?

Похожие темы:

27.03.2025 02:48	Продвижение-2022: Гугл все? Нет – Гугл не все!
31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл
26.03.2024 23:55	Странный трафик с android.app из приложения Гугл в мобильных

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
19:29 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 17:29 Как продвигать сайт с неуникальным контентом 14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз 13:53 AviTool - мощный инструмент для автоматизации работы с Avito 17:01 Absence в Армении 23:19 Ребята подскажите какими сервисами и прогами вы пользуетесь для SEO продвижения?	21:35 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 20:21 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:30 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 16:09 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 12:15 [MOBILE 4G/LTE PROXY] Приватные Мобильные Прокси 30 Дней 10$ Безлим/ Подходят для всех сайтов 23:25 Обменник криптовалюты OnlyCrypto 19:18 Размещение статей, ссылок и постовых на качественных ресурсах	22:06 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 05:04 Точные прогнозы на футбол 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 12:23 150+ хакерских поисковых систем и инструментов