Robots.txt для Wordpress

Сообщений: 1120 Регистрация: Окт 2010

20 Октября 2010 11:16

Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Хостинг от 84 руб. в месяц!

Андрей

Сообщений: 29 Регистрация: Апр 2010

21 Октября 2010 15:44

Чего мучаться изобретая велосипед?
Посмотри у пары - тройки приличных и популярных на твой взгляд сайтов, которые работают на WP...
и сделай так же (со своими нюансами,типа хоста и карты сайта)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

23 Октября 2010 21:17

nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться.
Андрей, спасибо, именно так и сделал.

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 01:36

2webliberty: как это в noindex? я же посмотрел и html-код данной страницы, и robots сайта www.cy-pr.com - ваше сообщение попадает в индекс целиком, включая блок "Код".

Почему бы мне не предположить то, что я написал?

P.S. Из-за тебя мне ещё и регистрироваться второй раз пришлось smile:)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 07:55

сообщение содержит только текст, а не активные ссылки

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 21:51

Ну?! А я разве писал про активные ссылки? Я писал про упоминание
Это когда имя домена находится в тексте индексированной страницы. В анализе сайта (сервис cy-pr.com) это параметр Внешние ссылки - Яндекс (упоминания).

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 22:57

такие записи не передают вес

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:41

Цитата

webliberty пишет:
Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.webliberty.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: <a href=\\"http://www.webliberty.ru/sitemap.xml\\" target=\\"_blank\\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Вообщем слушай, так как ты сделал - так нельзя.

Мой роботс выглядит так:

User-agent: Yandex
Disallow: */trackback
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Host: webliberty.ru

User-agent: *
Disallow: */trackback

Ну вот и всё. smile;)

Eurows.org - мой блог
Помогаю новичкам бесплатно создавать и оптимизировать сайты. Подробнее на странице Eurows.org/freelance

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:42

Цитата
webliberty пишет: nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться. Андрей, спасибо, именно так и сделал.

слушай, если тебе нужно закрыть от индексации все ссылки (внешние) поставь плагин WP_No External Links. помогает тиц и пр сохранить.

webliberty

Сообщений: 1120 Регистрация: Окт 2010

#10

25 Октября 2010 11:56

Я теперь вот так сделал:

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Похожие темы:

01.10.2018 16:57	Слетели позиции после изменения robots.txt
17.01.2018 14:13	Передается ли вес через robots.txt у Яндекса
21.07.2017 15:57	Не видит файл robots.txt в Яндекс-Blogger.
15.10.2016 13:41	robots
01.05.2016 10:01	Стоит ли в robots.txt закрывать страницы /page/ ?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 18:53 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса 15:29 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров 13:26 Как безопасно купить Гугл почту? 10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу	22:35 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 18:41 Веривикация Авито 17:37 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 16:31 JustProxy.Biz - Резидентные прокси без ограничения по трафику 15:39 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 15:31 Вериф аккаунты АВИТО + платежи 08:58 Мониторинг обменников Сrypto-scout.io	22:45 Точные прогнозы на футбол 21:04 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 19:29 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи 19:24 Туалетные секреты: Замурчательная тема 19:15 Сайты Рунета 15:15 ИИ-театр для инвесторов: почему виральные посты в Moltbook писали люди и в чем подвох OpenClaw 08:50 Гильотина для классиков: Клод доедает физические книги