Гугл индексирует запрещенный в robots.txt раздел сайта

Сообщений: 102 Регистрация: Ноя 2011

14 Декабря 2014 16:18

Всем привет, такая проблема, вижу в индексе такие страницы Google
URL/mcat/?97853634564646URL/mcat/?96253405868778

Хотя в роботс у меня чат заблокирован, вот строчка
Disallow: /mchat

Я удалял эти url из гугл вебмастера, но постоянно появляются новые.

Артём

Сообщений: 801 Регистрация: Мар 2013

14 Декабря 2014 16:24

Это давно известно, что гугл индексирует то что запрещено.

Сергей Гридюшко

Сообщений: 108 Регистрация: Май 2011

14 Декабря 2014 16:24

попробуйDisallow: /mchat/*

Хорошим моряком в тихом море не станешь..

Coder

Сообщений: 10597 Регистрация: Мар 2013

14 Декабря 2014 16:31

гугл, как правило, не переходит по запрещенному в роботс. Но если оно было проиндексировано до закрытия в роботс, или есть где-то ссылка на, то...

_http://devaka.ru/articles/robots.txt

✓ Проверенные скрипты и полезности для сайта

✓ Курсы

✓ Сервис временных ссылок

Дмитрий Зайченко

Сообщений: 4 Регистрация: Июл 2012

10 Января 2015 19:16

robots для поисковиков как рекомендация, а не как строгий запрет. Поэтому бывает и такое, что ПС частично не учитывают содержание в файле robots.txt

Изменено: Дмитрий Зайченко - 10 Января 2015 19:22 (орфографическая ошибка)

Екатерина Славная

Сообщений: 895 Регистрация: Ноя 2011

11 Января 2015 15:15

М.б. именно гуглу прописать запрет. Вдруг поможет

Славик Сообщений: 1991 Регистрация: Янв 2011	#7 11 Января 2015 16:58 да гугл любит все индексировать, запреты ему не интересны Лёгкий заработок в Яндекс от 1000 руб в день.

Новые темы	Объявления	Свободное общение
09:47 Adsense личный опыт 13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 08:27 Ищу специалистов 08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 08:12 ру гембла 09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче	02:43 Обменный пункт cashalot.one. Выгодный обмен. 15:30 EGB Affiliates – Зарабатывайте на киберспорте, спорте и казино! 11:52 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 10:06 Услуга чертежника и 3D моделирования 08:16 Linken Sphere – браузер-антидетект нового поколения 06:27 Продам аккаунты HeadHunter (Верификация на ИП) 22:08 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	23:51 Всего п онемногу 17:09 Точные прогнозы на футбол 10:00 Ну что, кто куда деваете свои сайты? 16:22 Компьютерная мышь 23:55 Добро пожаловать в цифровой мир... 13:13 О природе путешествий. 00:15 Накрутка поисковых подсказок

Новые темы

Объявления

Свободное общение

09:47 Adsense личный опыт
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
08:27 Ищу специалистов
08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд
08:12 ру гембла
09:18 Влияние использования ИИ для написания текстов на позицию в поисковой выдаче

02:43 Обменный пункт cashalot.one. Выгодный обмен.
15:30 EGB Affiliates – Зарабатывайте на киберспорте, спорте и казино!
11:52 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
10:06 Услуга чертежника и 3D моделирования
08:16 Linken Sphere – браузер-антидетект нового поколения
06:27 Продам аккаунты HeadHunter (Верификация на ИП)
22:08 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств

23:51 Всего п онемногу
17:09 Точные прогнозы на футбол
10:00 Ну что, кто куда деваете свои сайты?
16:22 Компьютерная мышь
23:55 Добро пожаловать в цифровой мир...
13:13 О природе путешествий.
00:15 Накрутка поисковых подсказок

01.09.2025 21:46	Продвижение-2022: Гугл все? Нет – Гугл не все!
31.10.2024 14:23	Резкое падение трафика в Гугл
29.06.2024 20:32	Одновременно пропал трафик с гугл и яндекса
08.04.2024 21:57	Занять высокие позиции в Гугл
26.03.2024 23:55	Странный трафик с android.app из приложения Гугл в мобильных