Неправильно выдается robots.txt
Страницы: 1
Неправильно выдается robots.txt, Яндекс и гугл неправильно воспринимает robots.txt
Здравствуйте! У меня такая проблема - в моем robots.txt прописано много правил, пример:

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-content/cache
Disallow: /wp-comments
Disallow: */comments
Disallow: /author/
Disallow: /cgi-bin
Disallow: /wp-includes/
Disallow: /page/
Disallow: /wp-login.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /category/
Disallow: /trackback
Disallow: */trackback
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /tag/
Disallow: /20*
Disallow: /*?*
Disallow: /*?
Disallow: /*.php

А во всех выдачах, и даже если я захожу через свой адрес в robots.txt показывает вот это:


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

То-есть с яндекс и гугл работает с 1 по 3 строку, и последней - с sitemap.xml.
Из-за этого у меня много дублей статей.
Подскажите что с этим делать и как это исправит.
Заранее спасибо.
Дмитрий Дюканов, значит что-то вы не так сделали.
Кстати, эти правила эквивалентны, оставьте последнее только
Код
Disallow: /*?* 
Disallow: /*?
Ну это-то я сделаю. Просто сам не понимаю что случилось. Раньше рубрики, теги, архивы не индексировались, теперь стали, а ведь это дубли. Раньше при проверки в яндексе и гугле принемали все строки robots.txt, а теперь пишет строки с 1 по з. Даже не знаю куда залесть и что исправить.
Вопрос закрываю. Разобрался с помощью службы поддержки хостинга.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
10:46 Linken Sphere – браузер-антидетект нового поколения 
05:06 CoinCapital  
04:28 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь