гугл упорно индекструет содержимое запрещенное в роботсе
Страницы: 1 2 След.
гугл упорно индекструет содержимое запрещенное в роботсе
Помогите, с сайтом mirege.ru

Уже давно составил роботс - mirege.ru/robots.txt

Но гугл не обращает на него внимание и индексируется всё подряд, хотя в яндексе всё нормально
Лучшая партнерка для файлового трафика !!! Лучший vk message тут (нет пессимизации со стороны Ядекса). Лью на подписки трафик здесь (тихие ребиллы)
Или я то то там неправильно указал?
Попробуйте отдельно прописать для гугла
Спасибо...

А вот я пробовал сделать <meta name="robots" content="noindex">

На страницах, но тоже не помогает
<head>
<meta http-equiv="content-type" content="text/html; charset=windows-1251" />
{refresh}
<title>Переход по внешней ссылке из сайта mirege.ru</title>
</head>

Куда лучше поставить <meta name="robots" content="noindex"> ????????
Цитата
We We пишет:
индексируется всё подряд


Бесполезно , всё равно будет индексировать , даже если разрешить и запретить что то одно ( страница , страницыы ) , то всё равно будет в индексе , фактически запрет не действует глобально ..
Цитата
We We пишет:
Куда лучше поставить <meta name="robots" content="noindex">


После title
Хорошо попробую..

просто уже надоело удалять из индекса страницы редиректа где стоит кликандер.
Изменено: We We - 5 Января 2012 10:21
Уже раз 10 удалял по 100 страниц, хорошо хоть с яндексом всё норм... сайт проиндексировался за 1 час и всё с тех пор норм
Вы не один такой smile:) Меня это тоже достало! smile:(
We We,
Такая же байда smile:mad: Индексирует даже те статьи, которых уже месяц нету на сайте, хотя бывает там каждый день.
Тоже все индексирует smile:rolleyes:
У меня после чистки ненужных страниц и удаления их через иструменты вебмастера не индексирует и все ок
У меня схожая проблема:
В роботсе есть строка Disallow: /user/ , но в Гугле висит тысяча страниц типа www.______.ru/user/jaxjaxDiola/
Запретить регистрацию новых пользователей не могу, но достали спамеры.
Что можно сделать?
Цитата
Soaring11 пишет:
Disallow: /user/


Попробуйте вот так: Disallow: /user/*
Страницы: 1 2 След.
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:45 Всем привет! 
19:37 Xrumer-полезный софт или нет? 
17:26 AI под надзором. Минцифры готовят клеймо для контента 
17:23 APK на паузе. Google убивает быстрый конверт 
17:18 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
15:02 Слипание слов в блоке 
10:36 Majento SiteAnalyzer - бесплатная программа для аудита и анализа сайта 
09:04 Swapwatch.org — Мониторинг криптовалютных обменников 
04:09 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
17:24 Обменный Сервис - Купец (Kupec.cc) 
15:52 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
14:06 Продвижение YouTube видео в топ поиска | Любой тип контента | Гарантия результата 
14:06 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
08:38 Сайты Рунета 
01:42 Точные прогнозы на футбол 
21:59 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
21:22 молодильные яблоки и живая вода 
08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
20:23 Панель Кнопки соцсетей 
14:03 Огородники