Проиндексировано, несмотря на блокировку в файле robots.txt
Страницы: 1
Проиндексировано, несмотря на блокировку в файле robots.txt, Предупреждение от гугла
Сегодня получил письмо от гуглобота предупреждение, что некоторые страницы (по факту одна и та же страница с разными GET параметрами) индексируются гуглом несмотря на запрет в роботс.тхт
Запрет стоит таким образом что сама страница допущена в индекс, но все варианты с GET параметрами отсекаются.

Страница - карта с нанесенными на ней маркерами с определенной смысловой нагрузкой. GET параметр дает возможность доступа к конкретному фрагменту карты. Ссылки с GET параметрами есть как на других страницах сайта, так, возможно и на каких-то других сторонних сайтах.

Гугл, судя по хелпам, предлагает запретить индексирование страницы вообще, что как бы не вариант.

Что делать - забить? Или это чем-то чревато может быть для меня?
Цитата
Валерий Тимофеев пишет:
Проиндексировано, несмотря на блокировку в файле robots.txt
Это не ново, Гугл плюет на файл robots.txt, уже лет 5-6 как smile:wall:
Почему завистники всегда чем-то огорчены? Потому что их снедают не только собственные неудачи, но и успехи других.
Гуглу пофик. При должном желании ему можно запихнуть все что угодно.
Цитата
Валерий Тимофеев пишет:
Ссылки с GET параметрами есть как на других страницах сайта, так, возможно и на каких-то других сторонних сайтах.

Причина индексирования Гуглом страниц несмотря на запрет в роботсе.
Выход: тег canonical на основную страницу без get-параметров.
Справка Гугла https://support.google.com/webmasters/answer/139066
Изменено: Oleg Drum - 2 Июня 2019 16:52
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
00:11 "The web is a dynamic place". Мюллер ответил по шторму 30 января (лучше б молчал) 
23:34 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов 
23:32 [AI] Хаби Лейм и сделка на $1 млрд. Гений или его развели на фантики? 
23:26 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
19:04 SEO под нейро 
17:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 
17:16 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом) 
23:54 GoodsMoney.io 
23:51 Volna.money 
20:20 Mixmasters - Exchange without AML and KYC 
17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 
16:49 Nexulume.com Обменник без AML и KYC 
15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
11:12 AllCharge.online. Современный, быстрый и надёжный обменник 
03:50 Точные прогнозы на футбол 
23:37 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 
23:30 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
23:21 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
19:06 Отвратительное поведение 
11:00 Кто может дать инвайт на WebMasters? 
17:58 Список обновленных тем пуст...