Почему гугл индексирует страницы, запрещенные в robots.txt?

Денис

Сообщений: 1120 Регистрация: Окт 2010

2 Января 2011 15:00

Мало того еще и в выдаче их показывает...

Хостинг от 84 руб. в месяц!

Олеся

Сообщений: 890 Регистрация: Мар 2010

2 Января 2011 15:57

Цитата
Денис пишет: Мало того еще и в выдаче их показывает...

И картинки, у меня аватары с форума, тянет, кнопки с сайта smile:confused:

Gogetlinks - самый белый способ продвижения статьями. Etxt - контент для сайта.

seov

Сообщений: 47 Регистрация: Дек 2010

2 Января 2011 16:49

Цитата
Олеся пишет: кнопки с сайта

А у меня и оформление сайта берёт....

Дмитрий

Сообщений: 2410 Регистрация: Мар 2010

2 Января 2011 16:51

Цитата
seov пишет: А у меня и оформление сайта берёт....

Видимо на картинки стоят прямые ссылки а файл css не запрещён?

Заработок на новых сайтах и нулевиках.

Професиональный хостинг

seov

Сообщений: 47 Регистрация: Дек 2010

2 Января 2011 17:31

да, вроде css запрещены, и папки с файлами тоже закрыты от индексации....

Semantic

Сообщений: 818 Регистрация: Дек 2010

3 Января 2011 06:00

Смотри как путь открывается со слешем на конце и без - это 2 разные страницы, проверяй правила в роботсе. Вообше поисковики туда ходят время от времени, но в выдачу не пускают.

Денис

Сообщений: 1120 Регистрация: Окт 2010

3 Января 2011 10:30

все страницы со слешем

Semantic

Сообщений: 818 Регистрация: Дек 2010

3 Января 2011 10:51

а в роботсе что? давай на конкретных примерх, экстрасенсов нет. тем более после нового года все медихлорианы под жёсткой интоксикацией

Денис

Сообщений: 1120 Регистрация: Окт 2010

3 Января 2011 11:03

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /page/
Disallow: /feed/
Disallow: /20*

Все страницы категорий /category/ и страницы /page/ проиндексированы и в поиске, например:
/category/wordpress/
/category/plaginyi/ и т.д.

/page/2/
/page/3/
/page/4/ и т.д.

Причем в панели инструментов гугла в пункте Просмотреть как Googlebot пишет что доступ запрещен в файле robots.txt. Вот и вызывает вопросы, если запрещен, то фиг ли они в поиске... В яндексе никаких проблем, проиндексированы только те которые не запрещены, а гугл все забрал...

Semantic

Сообщений: 818 Регистрация: Дек 2010

#10

3 Января 2011 11:46

ну собсна

Disallow: /category/чо_закрыть1/
Disallow: /category/чо_закрыть2/
Disallow: /category/чо_закрыть3/
Disallow: /page/2/
Disallow: /page/3/
Disallow: /page/4/
...

если закрыли после того как оно проиндексировалось, курите и ждите пока выпадет .. может до полугода так болтаться.

Я вот о чём

/page/4/
/page/4

По обоим адресам страница отдаётся? Если да то проще редирект настроить на один из или закрывать оба

Гугл и яндекс по разному работают. Есть еще каноничка, думайте

Изменено: Semantic - 3 Января 2011 11:47

Semantic

Сообщений: 818 Регистрация: Дек 2010

#11

3 Января 2011 11:49

Цитата
Олеся пишет: И картинки, у меня аватары с форума, тянет, кнопки с сайта

Делайте бэкграйндом, учите CSS и кладите всё в одну папку, которую перекроете в роботсе.

Денис

Сообщений: 1120 Регистрация: Окт 2010

#12

3 Января 2011 12:02

Да, проиндексировалось, а потом только закрыл, гугл по началу хватал все что видел, даже и страниц то еще толком не было - это моя ошибка. Нужно было перед тем как выложить в сеть все настроить... Буду ждать, когда же он их выкинет.

При вводе в адресную строку
/page/4
редиректит на
/page/4/
с этим проблем нет. Спасибо!

Semantic

Сообщений: 818 Регистрация: Дек 2010

#13

3 Января 2011 12:21

Цитата
Денис пишет: с этим проблем нет. Спасибо!

Не за что )

mixanech

Сообщений: 18 Регистрация: Май 2010

#14

3 Января 2011 15:47

У Google и Yandex в панели вебмастера возможность удаления нежелательных страниц из индекса. После закрытия их от индексации стоит отправить заявку на удаление. Иначе правда, если сайт большой, можно до полугода ждать - так он их быстрее выкинет.

sharkoster

Сообщений: 139 Регистрация: Май 2010

#15

4 Января 2011 11:56

У меня тоже такая проблема, страницы с информацией о пользователях заблокированы в robots.txt и в панели пользователя написано что эти страницы запрещены в файле robots.txt. А они в индексе smile:confused:

Я тут прочитал в справочной гугла о метатеге noindex

_http://www.google.com/support/webmasters/bin/answer.py?answer=93710

Код

Стандарт метатега noindex описан на странице http://www.robotstxt.org/meta.html. Если у вас нет доступа к корневому каталогу вашего сервера, этот способ может быть полезен для вас, так как позволяет управлять постраничным доступом к вашему сайту.

Чтобы запретить всем роботам индексировать страницу сайта, добавьте в раздел <head> этой страницы следующий метатег:

<met a name="robots" content="noindex">

Чтобы запретить индексирование страницы вашего сайта только роботам Google и разрешить ее индексирование другим роботам, добавьте следующий метатег:

<met a name="googlebot" content="noindex">

При наличии на странице метатега noindex Google полностью исключает эту страницу из результатов поиска, даже если на нее ссылаются другие страницы. Другие поисковые системы могут интерпретировать эту команду по-разному. В результате ссылка на эту страницу может появляться в их результатах поиска.

Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Если ваша страница продолжает появляться в результатах, вероятно, мы еще не просканировали ваш сайт после добавления тега. (Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег.)

Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании. Чтобы ускорить удаление, используйте инструмент удаления URL в Инструментах Google для веб-мастеров.

Непонятно, что теперь если я хочу убрать раздел /user/ при помощи тега noindex нужно убрать его из robots.txt?

Похожие темы:

31.03.2026 00:05	Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update
30.03.2026 08:21	Продвижение-2022: Гугл все? Нет – Гугл не все!
03.03.2026 16:32	Гугл похоронит наши лендинги (разбор патента US12536233B1)
13.02.2026 18:07	Гугл уходит из России: почему интернет тормозит и что делать
03.02.2026 17:05	Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
06:24 AI под надзором. Минцифры готовят клеймо для контента 22:53 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 19:02 Gambling Craft - гемблинг по белому 17:03 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 10:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 10:15 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта 10:12 Gmail разрешил менять основной адрес - теперь можно убрать старые ники без переноса аккаунта	22:02 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 21:58 Trustpilot Reviews \| Подниму рейтинг вашей компании 21:58 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 21:57 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж 19:58 GhostRocket.pro — Взлетаем в новую эру криптообмена! 16:02 Bardo — Бюро развития и координации цифровых операций. 15:55 Русские народные сказки - оцените!	04:35 Ставки на супер тренды в спорте 23:42 молодильные яблоки и живая вода 15:49 Огородники 00:06 Точные прогнозы на футбол 16:25 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 22:45 С юмором по жизни! 15:42 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день