Гугл индексирует запрещенный в robots.txt раздел сайта

Сообщений: 102 Регистрация: Ноя 2011

14 Декабря 2014 16:18

Всем привет, такая проблема, вижу в индексе такие страницы Google
URL/mcat/?97853634564646URL/mcat/?96253405868778

Хотя в роботс у меня чат заблокирован, вот строчка
Disallow: /mchat

Я удалял эти url из гугл вебмастера, но постоянно появляются новые.

Артём

Сообщений: 801 Регистрация: Мар 2013

14 Декабря 2014 16:24

Это давно известно, что гугл индексирует то что запрещено.

Сергей Гридюшко

Сообщений: 108 Регистрация: Май 2011

14 Декабря 2014 16:24

попробуйDisallow: /mchat/*

Хорошим моряком в тихом море не станешь..

Coder

Сообщений: 10552 Регистрация: Мар 2013

14 Декабря 2014 16:31

гугл, как правило, не переходит по запрещенному в роботс. Но если оно было проиндексировано до закрытия в роботс, или есть где-то ссылка на, то...

_http://devaka.ru/articles/robots.txt

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Дмитрий Зайченко

Сообщений: 4 Регистрация: Июл 2012

10 Января 2015 19:16

robots для поисковиков как рекомендация, а не как строгий запрет. Поэтому бывает и такое, что ПС частично не учитывают содержание в файле robots.txt

Изменено: Дмитрий Зайченко - 10 Января 2015 19:22 (орфографическая ошибка)

Екатерина Славная

Сообщений: 895 Регистрация: Ноя 2011

11 Января 2015 15:15

М.б. именно гуглу прописать запрет. Вдруг поможет

Славик Сообщений: 1991 Регистрация: Янв 2011	#7 11 Января 2015 16:58 да гугл любит все индексировать, запреты ему не интересны Лёгкий заработок в Яндекс от 1000 руб в день.

Новые темы	Объявления	Свободное общение
17:19 Нужна помощь советом! 16:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 10:20 SEO под нейро 14:47 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:23 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 09:44 SEO 2025 - контент, уже не главное. Главное - Конечная цель... 06:06 Яндекс прекращает поддержку технологии Турбо	22:34 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 09:43 Обменник криптовалюты OnlyCrypto 04:03 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 21:08 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 19:41 WebKazna. Обмены криптовалют. Доставка наличных. 15:58 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 14:41 SpaceSwap.cc - Быстрый и надежный обменник криптовалют	21:46 Точные прогнозы на футбол 10:54 Добро пожаловать в цифровой мир... 22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 11:58 Куплю проигрышные букмекерские аккаунты 00:12 Огородники 10:59 Новости искусственного интеллекта 04:26 Хром ругается на форум

Новые темы

Объявления

Свободное общение

17:19 Нужна помощь советом!
16:56 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
10:20 SEO под нейро
14:47 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
14:23 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
09:44 SEO 2025 - контент, уже не главное. Главное - Конечная цель...
06:06 Яндекс прекращает поддержку технологии Турбо

22:34 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств
09:43 Обменник криптовалюты OnlyCrypto
04:03 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
21:08 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc
19:41 WebKazna. Обмены криптовалют. Доставка наличных.
15:58 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old
14:41 SpaceSwap.cc - Быстрый и надежный обменник криптовалют

21:46 Точные прогнозы на футбол
10:54 Добро пожаловать в цифровой мир...
22:39 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор
11:58 Куплю проигрышные букмекерские аккаунты
00:12 Огородники
10:59 Новости искусственного интеллекта
04:26 Хром ругается на форум

27.03.2025 02:48	Продвижение-2022: Гугл все? Нет – Гугл не все!
31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл
26.03.2024 23:55	Странный трафик с android.app из приложения Гугл в мобильных