Гугл индексирует запрещенный в robots.txt раздел сайта

Сообщений: 102 Регистрация: Ноя 2011

14 Декабря 2014 16:18

Всем привет, такая проблема, вижу в индексе такие страницы Google
URL/mcat/?97853634564646URL/mcat/?96253405868778

Хотя в роботс у меня чат заблокирован, вот строчка
Disallow: /mchat

Я удалял эти url из гугл вебмастера, но постоянно появляются новые.

Артём

Сообщений: 801 Регистрация: Мар 2013

14 Декабря 2014 16:24

Это давно известно, что гугл индексирует то что запрещено.

Сергей Гридюшко

Сообщений: 108 Регистрация: Май 2011

14 Декабря 2014 16:24

попробуйDisallow: /mchat/*

Хорошим моряком в тихом море не станешь..

Coder

Сообщений: 10703 Регистрация: Мар 2013

14 Декабря 2014 16:31

гугл, как правило, не переходит по запрещенному в роботс. Но если оно было проиндексировано до закрытия в роботс, или есть где-то ссылка на, то...

_http://devaka.ru/articles/robots.txt

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Дмитрий Зайченко

Сообщений: 4 Регистрация: Июл 2012

10 Января 2015 19:16

robots для поисковиков как рекомендация, а не как строгий запрет. Поэтому бывает и такое, что ПС частично не учитывают содержание в файле robots.txt

Изменено: Дмитрий Зайченко - 10 Января 2015 19:22 (орфографическая ошибка)

Екатерина Славная

Сообщений: 895 Регистрация: Ноя 2011

11 Января 2015 15:15

М.б. именно гуглу прописать запрет. Вдруг поможет

Славик Сообщений: 1991 Регистрация: Янв 2011	#7 11 Января 2015 16:58 да гугл любит все индексировать, запреты ему не интересны Лёгкий заработок в Яндекс от 1000 руб в день.

Новые темы	Объявления	Свободное общение
19:44 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 15:20 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 15:10 Google Discover Core Update: Дискавер отделяют от поиска? 15:04 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?	15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 12:38 Bankomat001 - Сервис обмена электронных валют 10:42 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 09:36 Мониторинг обменников Сrypto-scout.io 05:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 04:20 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:26 Sova.gg - надежный обменник криптовалюты.	22:07 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 21:18 Точные прогнозы на футбол 18:56 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 02:12 Ставки на супер тренды в спорте 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 07:11 Список обновленных тем пуст...

Новые темы

Объявления

Свободное общение

19:44 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо?
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов
15:20 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут
15:10 Google Discover Core Update: Дискавер отделяют от поиска?
15:04 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?

15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
12:38 Bankomat001 - Сервис обмена электронных валют
10:42 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру
09:36 Мониторинг обменников Сrypto-scout.io
05:29 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника
04:20 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
23:26 Sova.gg - надежный обменник криптовалюты.

22:07 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
21:18 Точные прогнозы на футбол
18:56 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?
02:12 Ставки на супер тренды в спорте
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
07:11 Список обновленных тем пуст...

03.02.2026 17:05	Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов
30.01.2026 05:22	Продвижение-2022: Гугл все? Нет – Гугл не все!
31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл