Неправильно выдается robots.txt
Страницы: 1
Неправильно выдается robots.txt, Яндекс и гугл неправильно воспринимает robots.txt
Здравствуйте! У меня такая проблема - в моем robots.txt прописано много правил, пример:

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-content/cache
Disallow: /wp-comments
Disallow: */comments
Disallow: /author/
Disallow: /cgi-bin
Disallow: /wp-includes/
Disallow: /page/
Disallow: /wp-login.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /category/
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /tag/
Disallow: /20*
Disallow: /*?*
Disallow: /*?
Disallow: /*.php

А во всех выдачах, и даже если я захожу через свой адрес в robots.txt показывает вот это:


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

То-есть с яндекс и гугл работает с 1 по 3 строку, и последней - с sitemap.xml.
Из-за этого у меня много дублей статей.
Подскажите что с этим делать и как это исправит.
Заранее спасибо.
Дмитрий Дюканов, значит что-то вы не так сделали.
Кстати, эти правила эквивалентны, оставьте последнее только
Код
Disallow: /*?* 
Disallow: /*?
Ну это-то я сделаю. Просто сам не понимаю что случилось. Раньше рубрики, теги, архивы не индексировались, теперь стали, а ведь это дубли. Раньше при проверки в яндексе и гугле принемали все строки robots.txt, а теперь пишет строки с 1 по з. Даже не знаю куда залесть и что исправить.
Вопрос закрываю. Разобрался с помощью службы поддержки хостинга.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
23:53 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 
22:30 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
22:21 Слипание слов в блоке 
22:13 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 
22:05 С чего сейчас проще начать? 
21:57 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
21:25 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
00:05 TETChange-Обменник криптовалют 
22:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
22:17 Продам домен translated.ru 
21:00 Portfel.cc - современный помощник в Ваших финансовых операциях. 
19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB | Мобильные-$2/GB | Datacenter-$1/GB | PREMIUM-$4 /GB 
15:05 Mixmasters - Exchange without AML and KYC 
13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 
23:08 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
17:05 Огородники 
13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
13:02 С юмором по жизни! 
05:10 Точные прогнозы на футбол 
16:47 Какой фильм вы любите посмотреть перед сном?