robots.txt для Wordpress?

Сообщений: 345 Регистрация: Сен 2010

9 Ноября 2013 14:19

[B]
Уважаемые гуру, что скажете, все ли тут правильно?[/B]

Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

Bait.li - Укоротил. Заработал!

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

9 Ноября 2013 14:23

Может я и не Гуру, но тэги бы тоже закрыл.

Уникальный контент выбирайте »тут« за недорого

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

9 Ноября 2013 15:03

У меня на wp вот какой стоит:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments

Sitemap: http://site.ru/sitemap.xml

Вроде бы все нормально. (Если что то не правильное, то подскажите)).

Блатные слова.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

9 Ноября 2013 23:34

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Индексирование тегов и категорий неплохо регулирует плагин All in one Seo, мне кажется он удобнее. Но роботс в первом посте не очень.

Цитата
Индульгенция пишет: У меня на wp вот какой стоит:

Этот на порядок качественнее.

Но фишка в том, что не бывает одинаковых сайтов, поэтому доверять шаблонным роботсам - достаточно глупо. Нужно всегда подпиливать под функционал конкретного проекта.

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

10 Ноября 2013 09:11

pelikesha, спасибо за пояснение)

Koza Moza

Сообщений: 564 Регистрация: Фев 2013

10 Ноября 2013 22:45

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

11 Ноября 2013 00:00

Цитата
Koza Moza пишет: Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

По разному бывает. Иногда теги (т.е. метки в контексте данного движка) являются хорошей связующей страничкой, объединяющие похожие записи по смыслу и содержанию. Иногда они от балды проставляются в неограниченных количествах. В зависимости от этого и надо плясать - разрешать их индексацию или нет. Обычно я руководствуюсь следующим принципами:

1. Если каждый тег встречается в более чем трех материалах - индексируем страничку тега.
2. Если к каждому тегу добавлено уникальное описание (да-да, есть и такая возможность) - индексируем страничку тега.
3. Если ни один из пунктов 1-2 не выполнен - закрываем от индексации.

Индульгенция, не за что. Обращайтесь

Кстати, вот что с большой вероятностью необходимо закрывать от индексации всегда - это архивы (по дням, месяцам, годам, а так же авторов). Но опять же, плагин All in one Seo решает эту проблему лучше чем роботс.

Изменено: pelikesha - 11 Ноября 2013 00:00

01.05.2025 18:53	Настройка плагина для wordpress Price Shop
11.04.2025 17:42	Создание сайтов стало проще: WordPress представляет AI-инструмент
21.03.2025 19:38	Владельцы сайтов на WordPress под угрозой: как вредонос DollyWay крадёт ваш трафик
08.10.2023 11:09	Как узнать какая тема wordpress на сайте
10.07.2023 21:49	Нужно перенести дизайн с фигмы на Wordpress

Новые темы	Объявления	Свободное общение
00:24 Раскрутка форума 00:19 Продвижение по ключам 17:40 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 14:07 2Index - быстрая индексация страниц сайта и обратных ссылок 12:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 22:23 Подскажите нормальный сервис накрутки ПФ 09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	00:56 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 22:42 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 15:26 TETChange-Обменник криптовалют 12:28 AlwaysMoney - платформа для обмена криптовалют 01:35 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 22:30 SOCKS5 приватные прокси на 30 дней для PayPal 22:29 Google Voice аккаунты для бесплатных SMS и звонков	16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты? 22:34 Используете беспроводные наушники?