robots.txt для Wordpress?

Сообщений: 345 Регистрация: Сен 2010

9 Ноября 2013 14:19

[B]
Уважаемые гуру, что скажете, все ли тут правильно?[/B]

Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

Bait.li - Укоротил. Заработал!

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

9 Ноября 2013 14:23

Может я и не Гуру, но тэги бы тоже закрыл.

Уникальный контент выбирайте »тут« за недорого

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

9 Ноября 2013 15:03

У меня на wp вот какой стоит:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments

Sitemap: http://site.ru/sitemap.xml

Вроде бы все нормально. (Если что то не правильное, то подскажите)).

Блатные слова.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

9 Ноября 2013 23:34

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Индексирование тегов и категорий неплохо регулирует плагин All in one Seo, мне кажется он удобнее. Но роботс в первом посте не очень.

Цитата
Индульгенция пишет: У меня на wp вот какой стоит:

Этот на порядок качественнее.

Но фишка в том, что не бывает одинаковых сайтов, поэтому доверять шаблонным роботсам - достаточно глупо. Нужно всегда подпиливать под функционал конкретного проекта.

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

10 Ноября 2013 09:11

pelikesha, спасибо за пояснение)

Koza Moza

Сообщений: 564 Регистрация: Фев 2013

10 Ноября 2013 22:45

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

11 Ноября 2013 00:00

Цитата
Koza Moza пишет: Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

По разному бывает. Иногда теги (т.е. метки в контексте данного движка) являются хорошей связующей страничкой, объединяющие похожие записи по смыслу и содержанию. Иногда они от балды проставляются в неограниченных количествах. В зависимости от этого и надо плясать - разрешать их индексацию или нет. Обычно я руководствуюсь следующим принципами:

1. Если каждый тег встречается в более чем трех материалах - индексируем страничку тега.
2. Если к каждому тегу добавлено уникальное описание (да-да, есть и такая возможность) - индексируем страничку тега.
3. Если ни один из пунктов 1-2 не выполнен - закрываем от индексации.

Индульгенция, не за что. Обращайтесь

Кстати, вот что с большой вероятностью необходимо закрывать от индексации всегда - это архивы (по дням, месяцам, годам, а так же авторов). Но опять же, плагин All in one Seo решает эту проблему лучше чем роботс.

Изменено: pelikesha - 11 Ноября 2013 00:00

01.05.2025 18:53	Настройка плагина для wordpress Price Shop
11.04.2025 17:42	Создание сайтов стало проще: WordPress представляет AI-инструмент
21.03.2025 19:38	Владельцы сайтов на WordPress под угрозой: как вредонос DollyWay крадёт ваш трафик
08.10.2023 11:09	Как узнать какая тема wordpress на сайте
10.07.2023 21:49	Нужно перенести дизайн с фигмы на Wordpress

Новые темы	Объявления	Свободное общение
20:57 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 20:20 кликните сюда 14:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:38 2Index - быстрая индексация страниц сайта и обратных ссылок 12:44 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 23:09 Как безопасно купить Гугл почту? 13:45 Какой движок выбрать для форума?	04:20 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 23:26 Sova.gg - надежный обменник криптовалюты. 19:23 Mixmasters - Exchange without AML and KYC 15:54 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 14:05 TETChange-Обменник криптовалют 12:36 Nexulume.com Обменник без AML и KYC 09:12 Swapwatch.org — Мониторинг криптовалютных обменников	04:51 Точные прогнозы на футбол 02:12 Ставки на супер тренды в спорте 12:41 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 07:11 Список обновленных тем пуст... 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем