Неправильно выдается robots.txt
Страницы: 1
Неправильно выдается robots.txt, Яндекс и гугл неправильно воспринимает robots.txt
Здравствуйте! У меня такая проблема - в моем robots.txt прописано много правил, пример:

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-content/cache
Disallow: /wp-comments
Disallow: */comments
Disallow: /author/
Disallow: /cgi-bin
Disallow: /wp-includes/
Disallow: /page/
Disallow: /wp-login.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /category/
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /tag/
Disallow: /20*
Disallow: /*?*
Disallow: /*?
Disallow: /*.php

А во всех выдачах, и даже если я захожу через свой адрес в robots.txt показывает вот это:


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

То-есть с яндекс и гугл работает с 1 по 3 строку, и последней - с sitemap.xml.
Из-за этого у меня много дублей статей.
Подскажите что с этим делать и как это исправит.
Заранее спасибо.
Дмитрий Дюканов, значит что-то вы не так сделали.
Кстати, эти правила эквивалентны, оставьте последнее только
Код
Disallow: /*?* 
Disallow: /*?
Ну это-то я сделаю. Просто сам не понимаю что случилось. Раньше рубрики, теги, архивы не индексировались, теперь стали, а ведь это дубли. Раньше при проверки в яндексе и гугле принемали все строки robots.txt, а теперь пишет строки с 1 по з. Даже не знаю куда залесть и что исправить.
Вопрос закрываю. Разобрался с помощью службы поддержки хостинга.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:22 Как безопасно купить Гугл почту? 
11:17 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
11:12 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
11:05 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 
09:46 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров 
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 
08:58 Мониторинг обменников Сrypto-scout.io 
04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
02:31 Профессиональный и грамотный дизайн от DesignCash 
18:27 Nexulume.com Обменник без AML и KYC 
15:45 Mixmasters - Exchange without AML and KYC 
10:22 Swapwatch.org — Мониторинг криптовалютных обменников 
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют. 
11:24 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи 
10:52 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
08:50 Гильотина для классиков: Клод доедает физические книги 
05:10 Точные прогнозы на футбол 
18:34 Ставки на супер тренды в спорте 
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес