robots.txt для Wordpress?

Сообщений: 345 Регистрация: Сен 2010

9 Ноября 2013 14:19

[B]
Уважаемые гуру, что скажете, все ли тут правильно?[/B]

Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

Bait.li - Укоротил. Заработал!

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

9 Ноября 2013 14:23

Может я и не Гуру, но тэги бы тоже закрыл.

Уникальный контент выбирайте »тут« за недорого

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

9 Ноября 2013 15:03

У меня на wp вот какой стоит:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments

Sitemap: http://site.ru/sitemap.xml

Вроде бы все нормально. (Если что то не правильное, то подскажите)).

Блатные слова.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

9 Ноября 2013 23:34

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Индексирование тегов и категорий неплохо регулирует плагин All in one Seo, мне кажется он удобнее. Но роботс в первом посте не очень.

Цитата
Индульгенция пишет: У меня на wp вот какой стоит:

Этот на порядок качественнее.

Но фишка в том, что не бывает одинаковых сайтов, поэтому доверять шаблонным роботсам - достаточно глупо. Нужно всегда подпиливать под функционал конкретного проекта.

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

10 Ноября 2013 09:11

pelikesha, спасибо за пояснение)

Koza Moza

Сообщений: 564 Регистрация: Фев 2013

10 Ноября 2013 22:45

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

11 Ноября 2013 00:00

Цитата
Koza Moza пишет: Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

По разному бывает. Иногда теги (т.е. метки в контексте данного движка) являются хорошей связующей страничкой, объединяющие похожие записи по смыслу и содержанию. Иногда они от балды проставляются в неограниченных количествах. В зависимости от этого и надо плясать - разрешать их индексацию или нет. Обычно я руководствуюсь следующим принципами:

1. Если каждый тег встречается в более чем трех материалах - индексируем страничку тега.
2. Если к каждому тегу добавлено уникальное описание (да-да, есть и такая возможность) - индексируем страничку тега.
3. Если ни один из пунктов 1-2 не выполнен - закрываем от индексации.

Индульгенция, не за что. Обращайтесь

Кстати, вот что с большой вероятностью необходимо закрывать от индексации всегда - это архивы (по дням, месяцам, годам, а так же авторов). Но опять же, плагин All in one Seo решает эту проблему лучше чем роботс.

Изменено: pelikesha - 11 Ноября 2013 00:00

01.05.2025 18:53	Настройка плагина для wordpress Price Shop
11.04.2025 17:42	Создание сайтов стало проще: WordPress представляет AI-инструмент
21.03.2025 19:38	Владельцы сайтов на WordPress под угрозой: как вредонос DollyWay крадёт ваш трафик
08.10.2023 11:09	Как узнать какая тема wordpress на сайте
10.07.2023 21:49	Нужно перенести дизайн с фигмы на Wordpress

Новые темы	Объявления	Свободное общение
17:03 Устали от Пустых Обещаний? Market-Place.su даёт реальные деньги! 15:08 Стоит ли добавлять сайт в Rambler топ 100? 14:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 19:33 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 09:02 Как продвигать сайт с неуникальным контентом 08:57 Absence в Армении 14:50 Индексация страниц	16:58 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 14:35 Cryptonet.pro - быстрый и надежный обмен электронных валют! 14:30 SwapPix.io - быстрый и безопасный обменник криптовалют. 13:55 Обменник криптовалюты OnlyCrypto 13:36 Affiliate Top - партнерская программа нового уровня 10:29 local-pay.com - быстрый и надежный обменник криптовалюты Local-Pay 04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	20:48 Точные прогнозы на футбол 19:04 Ну что, кто куда деваете свои сайты? 22:09 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди