Гугл индексирует запрещенный в robots.txt раздел сайта

Сообщений: 102 Регистрация: Ноя 2011

14 Декабря 2014 16:18

Всем привет, такая проблема, вижу в индексе такие страницы Google
URL/mcat/?97853634564646URL/mcat/?96253405868778

Хотя в роботс у меня чат заблокирован, вот строчка
Disallow: /mchat

Я удалял эти url из гугл вебмастера, но постоянно появляются новые.

Артём

Сообщений: 801 Регистрация: Мар 2013

14 Декабря 2014 16:24

Это давно известно, что гугл индексирует то что запрещено.

Сергей Гридюшко

Сообщений: 108 Регистрация: Май 2011

14 Декабря 2014 16:24

попробуйDisallow: /mchat/*

Хорошим моряком в тихом море не станешь..

Coder

Сообщений: 10628 Регистрация: Мар 2013

14 Декабря 2014 16:31

гугл, как правило, не переходит по запрещенному в роботс. Но если оно было проиндексировано до закрытия в роботс, или есть где-то ссылка на, то...

_http://devaka.ru/articles/robots.txt

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Дмитрий Зайченко

Сообщений: 4 Регистрация: Июл 2012

10 Января 2015 19:16

robots для поисковиков как рекомендация, а не как строгий запрет. Поэтому бывает и такое, что ПС частично не учитывают содержание в файле robots.txt

Изменено: Дмитрий Зайченко - 10 Января 2015 19:22 (орфографическая ошибка)

Екатерина Славная

Сообщений: 895 Регистрация: Ноя 2011

11 Января 2015 15:15

М.б. именно гуглу прописать запрет. Вдруг поможет

Славик Сообщений: 1991 Регистрация: Янв 2011	#7 11 Января 2015 16:58 да гугл любит все индексировать, запреты ему не интересны Лёгкий заработок в Яндекс от 1000 руб в день.

Новые темы	Объявления	Свободное общение
20:34 Стоит ли добавлять сайт в Rambler топ 100? 17:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 16:49 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 16:27 Как вывести сайт в ТОП Google в конкурентной тематике? Рецепт: ссылки плюс низкочастотные длинные ключи 10:21 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 09:29 Продвижение по ключам 09:23 Что такое Яндекс Икс / Как накрутить Яндекс ИКС	18:04 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 15:59 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365 15:33 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ! 12:47 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 12:27 Bankomat001 - Сервис обмена электронных валют 10:16 HH.ru Работадателя вериф 10:14 AllCharge.online. Современный, быстрый и надёжный обменник	13:34 Компьютерная мышь 13:13 Куплю проигрышные букмекерские аккаунты 21:22 С юмором по жизни! 22:59 Про мясо 15:07 Добро пожаловать в цифровой мир... 22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях 10:10 накрутка трафика в SimilarWeb

Новые темы

Объявления

Свободное общение

20:34 Стоит ли добавлять сайт в Rambler топ 100?
17:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
16:49 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025
16:27 Как вывести сайт в ТОП Google в конкурентной тематике? Рецепт: ссылки плюс низкочастотные длинные ключи
10:21 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов
09:29 Продвижение по ключам
09:23 Что такое Яндекс Икс / Как накрутить Яндекс ИКС

18:04 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
15:59 Запустите свой обменник за 1 день без программиста и серверов — облачная платформа EX365
15:33 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ!
12:47 Belurk — высокоскоростные анонимные прокси от 0,24 рублей
12:27 Bankomat001 - Сервис обмена электронных валют
10:16 HH.ru Работадателя вериф
10:14 AllCharge.online. Современный, быстрый и надёжный обменник

13:34 Компьютерная мышь
13:13 Куплю проигрышные букмекерские аккаунты
21:22 С юмором по жизни!
22:59 Про мясо
15:07 Добро пожаловать в цифровой мир...
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях
10:10 накрутка трафика в SimilarWeb

01.09.2025 21:46	Продвижение-2022: Гугл все? Нет – Гугл не все!
31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл
26.03.2024 23:55	Странный трафик с android.app из приложения Гугл в мобильных