robots.txt для Wordpress?

Сообщений: 345 Регистрация: Сен 2010

9 Ноября 2013 14:19

[B]
Уважаемые гуру, что скажете, все ли тут правильно?[/B]

Код:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: мойсайт.ru

Sitemap: http://мойсайт.ru/sitemap.xml
Sitemap: http://мойсайт.ru/sitemap.xml.gz

Bait.li - Укоротил. Заработал!

The Undertaker

Сообщений: 1526 Регистрация: Мар 2011

9 Ноября 2013 14:23

Может я и не Гуру, но тэги бы тоже закрыл.

Уникальный контент выбирайте »тут« за недорого

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

9 Ноября 2013 15:03

У меня на wp вот какой стоит:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Host: www.site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /trackback
Disallow: /feed
Disallow: /comments

Sitemap: http://site.ru/sitemap.xml

Вроде бы все нормально. (Если что то не правильное, то подскажите)).

Блатные слова.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

9 Ноября 2013 23:34

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Индексирование тегов и категорий неплохо регулирует плагин All in one Seo, мне кажется он удобнее. Но роботс в первом посте не очень.

Цитата
Индульгенция пишет: У меня на wp вот какой стоит:

Этот на порядок качественнее.

Но фишка в том, что не бывает одинаковых сайтов, поэтому доверять шаблонным роботсам - достаточно глупо. Нужно всегда подпиливать под функционал конкретного проекта.

Индульгенция

Сообщений: 1513 Регистрация: Окт 2013

10 Ноября 2013 09:11

pelikesha, спасибо за пояснение)

Koza Moza

Сообщений: 564 Регистрация: Фев 2013

10 Ноября 2013 22:45

Цитата
The Undertaker пишет: Может я и не Гуру, но тэги бы тоже закрыл.

Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

pelikesha

Сообщений: 1634 Регистрация: Окт 2010

11 Ноября 2013 00:00

Цитата
Koza Moza пишет: Для чего теги закрывать? я когда-то сео-консультацию брала, мне сеошник наоборот сказал открыть и прописывать к каждой статье.

По разному бывает. Иногда теги (т.е. метки в контексте данного движка) являются хорошей связующей страничкой, объединяющие похожие записи по смыслу и содержанию. Иногда они от балды проставляются в неограниченных количествах. В зависимости от этого и надо плясать - разрешать их индексацию или нет. Обычно я руководствуюсь следующим принципами:

1. Если каждый тег встречается в более чем трех материалах - индексируем страничку тега.
2. Если к каждому тегу добавлено уникальное описание (да-да, есть и такая возможность) - индексируем страничку тега.
3. Если ни один из пунктов 1-2 не выполнен - закрываем от индексации.

Индульгенция, не за что. Обращайтесь

Кстати, вот что с большой вероятностью необходимо закрывать от индексации всегда - это архивы (по дням, месяцам, годам, а так же авторов). Но опять же, плагин All in one Seo решает эту проблему лучше чем роботс.

Изменено: pelikesha - 11 Ноября 2013 00:00

01.05.2025 18:53	Настройка плагина для wordpress Price Shop
11.04.2025 17:42	Создание сайтов стало проще: WordPress представляет AI-инструмент
21.03.2025 19:38	Владельцы сайтов на WordPress под угрозой: как вредонос DollyWay крадёт ваш трафик
08.10.2023 11:09	Как узнать какая тема wordpress на сайте
10.07.2023 21:49	Нужно перенести дизайн с фигмы на Wordpress

Новые темы	Объявления	Свободное общение
18:43 ПС Baidu захватит мир! надевайте тазики 18:30 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 18:22 adsense в 2026: кто реально выводит копейку через киргизию? 17:19 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 17:17 Раскрутка форума 17:13 Бесплатное получение бэклинков 15:27 С чего сейчас проще начать?	19:29 Proxy SOCKS5/HTTP(S) : Резидентские-$1.5/GB \| Мобильные-$2/GB \| Datacenter-$1/GB \| PREMIUM-$4 /GB 15:05 Mixmasters - Exchange without AML and KYC 13:11 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 11:11 Продвижение YouTube видео в топ поиска \| Любой тип контента \| Гарантия результата 11:11 Trustpilot Reviews \| Подниму рейтинг вашей компании 11:11 №1 Рассылка / Инвайтинг [TELEGRAM] \| Приватный метод 11:10 Установка\|Настройка\|Доработка\|Наполнение сайтов\|Дизайн\|3D\|Видеомонтаж	18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 17:05 Огородники 13:41 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 13:02 С юмором по жизни! 05:10 Точные прогнозы на футбол 16:47 Какой фильм вы любите посмотреть перед сном? 15:46 молодильные яблоки и живая вода