Гугл индексирует запрещенный в robots.txt раздел сайта

Сообщений: 102 Регистрация: Ноя 2011

14 Декабря 2014 16:18

Всем привет, такая проблема, вижу в индексе такие страницы Google
URL/mcat/?97853634564646URL/mcat/?96253405868778

Хотя в роботс у меня чат заблокирован, вот строчка
Disallow: /mchat

Я удалял эти url из гугл вебмастера, но постоянно появляются новые.

Артём

Сообщений: 801 Регистрация: Мар 2013

14 Декабря 2014 16:24

Это давно известно, что гугл индексирует то что запрещено.

Сергей Гридюшко

Сообщений: 108 Регистрация: Май 2011

14 Декабря 2014 16:24

попробуйDisallow: /mchat/*

Хорошим моряком в тихом море не станешь..

Coder

Сообщений: 10779 Регистрация: Мар 2013

14 Декабря 2014 16:31

гугл, как правило, не переходит по запрещенному в роботс. Но если оно было проиндексировано до закрытия в роботс, или есть где-то ссылка на, то...

_http://devaka.ru/articles/robots.txt

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Дмитрий Зайченко

Сообщений: 4 Регистрация: Июл 2012

10 Января 2015 19:16

robots для поисковиков как рекомендация, а не как строгий запрет. Поэтому бывает и такое, что ПС частично не учитывают содержание в файле robots.txt

Изменено: Дмитрий Зайченко - 10 Января 2015 19:22 (орфографическая ошибка)

Екатерина Славная

Сообщений: 895 Регистрация: Ноя 2011

11 Января 2015 15:15

М.б. именно гуглу прописать запрет. Вдруг поможет

Славик Сообщений: 1991 Регистрация: Янв 2011	#7 11 Января 2015 16:58 да гугл любит все индексировать, запреты ему не интересны Лёгкий заработок в Яндекс от 1000 руб в день.

Новые темы	Объявления	Свободное общение
08:46 Раскрутка форума 23:46 adsense в 2026: кто реально выводит копейку через киргизию? 22:09 Как поймать партнера на «сливе» бренда? 22:05 Очередной взлом через плагин. Хакеры получают админку без пароля 20:40 Мошенники-копирайтеры 17:52 Подскажите ТОП 5-10 ИМ с современным дизайном? 17:42 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку?	09:36 Swapwatch.org — Мониторинг криптовалютных обменников 09:29 От $0.015 за IP \| $0.68 за ГБ \| 9PROXY.COM \| 20+ млн резидентных прокси \| 99,95% аптайм \| Без чёрных списков 23:48 GoodsMoney.io 23:46 Volna.money 22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:14 Bardo — Бюро развития и координации цифровых операций. 17:32 Вериф аккаунты АВИТО + платежи	08:34 молодильные яблоки и живая вода 22:13 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 19:04 Какой фильм вы любите посмотреть перед сном? 19:03 О природе путешествий. 19:02 Огородники 01:47 Точные прогнозы на футбол 15:04 Сайты Рунета

Новые темы

Объявления

Свободное общение

08:46 Раскрутка форума
23:46 adsense в 2026: кто реально выводит копейку через киргизию?
22:09 Как поймать партнера на «сливе» бренда?
22:05 Очередной взлом через плагин. Хакеры получают админку без пароля
20:40 Мошенники-копирайтеры
17:52 Подскажите ТОП 5-10 ИМ с современным дизайном?
17:42 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку?

09:36 Swapwatch.org — Мониторинг криптовалютных обменников
09:29 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков
23:48 GoodsMoney.io
23:46 Volna.money
22:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
18:14 Bardo — Бюро развития и координации цифровых операций.
17:32 Вериф аккаунты АВИТО + платежи

08:34 молодильные яблоки и живая вода
22:13 8 марта: желаю аптайма 99.9% и e-e-a-t без локов
19:04 Какой фильм вы любите посмотреть перед сном?
19:03 О природе путешествий.
19:02 Огородники
01:47 Точные прогнозы на футбол
15:04 Сайты Рунета

03.03.2026 16:53	Продвижение-2022: Гугл все? Нет – Гугл не все!
03.03.2026 16:32	Гугл похоронит наши лендинги (разбор патента US12536233B1)
13.02.2026 18:07	Гугл уходит из России: почему интернет тормозит и что делать
03.02.2026 17:05	Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов
31.10.2024 14:23	Резкое падение трафика в Гугл