robots на wp
Страницы: 1
robots на wp
Добрый вечер, сколько делал robots , но постоянно что то ни так то страницы закроются от индексации, то дубли индексируются, дайте пожалуйста правильно настроенный robots. Спасибо.
Посмотрите:
_http://search.toolbars.alexa.com/?ver=alxf-2.18&src=bc&aid=ZUqHh1tRCs00yD&q=%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9+robots+%D0%B4%D0%BB%D1%8F+wordpress

_https://www.google.com.cy/search?q=%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9+robots+%D0%B4%D0%BB%D1%8F+wordpress&ie=utf-8&oe=utf-8&rls=org.mozilla:ru:official&client=firefox-a&channel=fflb&gws_rd=cr&ei=uf9OUp2RMuWp4ASy14Bw

_http://www.cy-pr.com/search/?tags=&q=robots+%D0%B4%D0%BB%D1­%8F+Wordpress
У меня с этим все нормально индексируется


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Host: сайт.ru
Sitemap: http://сайт/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml
Академик ( www.cy-pr.com/forum/f64/t57244/m623668?result=new#96942 ), спасибо попробую.
У меня точно такой же, с яшки норм идут а с глугла ваще никого, как так то?
Уникальный контент выбирайте »тут« за недорого
о спасибо сайту 3 года решил проверить что у меня  в роботсе написано)) а атм  все открыто  было))))) пустой роботс)))
Цитата
Академик пишет:
У меня с этим все нормально индексируется
А странички комментариев не закрываете? Очень странно сначала определять правило для всех поисковиков, а потом для Яндекса - обычно делают наоборот (скорее всего Яндекс проигнорирует отведенную ему часть, т.к. уже вначале встретит *)

Ну и по 3 раза trackback в роботсе - шедеврально. Можно еще добавить Disallow: */*/*/*/*/*/trackback  - на всякий случай. Аналогично с feed.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:08 Стоит ли добавлять сайт в Rambler топ 100? 
14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
09:02 Как продвигать сайт с неуникальным контентом 
08:57 Absence в Армении 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
14:35 Cryptonet.pro - быстрый и надежный обмен электронных валют! 
14:30 SwapPix.io - быстрый и безопасный обменник криптовалют. 
13:55 Обменник криптовалюты OnlyCrypto 
13:36 Affiliate Top - партнерская программа нового уровня 
10:29 local-pay.com - быстрый и надежный обменник криптовалюты Local-Pay 
04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
17:33 Скрипт обменника валют 
20:48 Точные прогнозы на футбол 
19:04 Ну что, кто куда деваете свои сайты? 
22:09 Добро пожаловать в цифровой мир... 
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
22:08 Накрутка поисковых подсказок 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди