Robots.txt для Wordpress

Сообщений: 1120 Регистрация: Окт 2010

20 Октября 2010 11:16

Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Хостинг от 84 руб. в месяц!

Андрей

Сообщений: 29 Регистрация: Апр 2010

21 Октября 2010 15:44

Чего мучаться изобретая велосипед?
Посмотри у пары - тройки приличных и популярных на твой взгляд сайтов, которые работают на WP...
и сделай так же (со своими нюансами,типа хоста и карты сайта)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

23 Октября 2010 21:17

nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться.
Андрей, спасибо, именно так и сделал.

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 01:36

2webliberty: как это в noindex? я же посмотрел и html-код данной страницы, и robots сайта www.cy-pr.com - ваше сообщение попадает в индекс целиком, включая блок "Код".

Почему бы мне не предположить то, что я написал?

P.S. Из-за тебя мне ещё и регистрироваться второй раз пришлось smile:)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 07:55

сообщение содержит только текст, а не активные ссылки

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 21:51

Ну?! А я разве писал про активные ссылки? Я писал про упоминание
Это когда имя домена находится в тексте индексированной страницы. В анализе сайта (сервис cy-pr.com) это параметр Внешние ссылки - Яндекс (упоминания).

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 22:57

такие записи не передают вес

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:41

Цитата

webliberty пишет:
Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.webliberty.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: <a href=\\"http://www.webliberty.ru/sitemap.xml\\" target=\\"_blank\\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Вообщем слушай, так как ты сделал - так нельзя.

Мой роботс выглядит так:

User-agent: Yandex
Disallow: */trackback
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Host: webliberty.ru

User-agent: *
Disallow: */trackback

Ну вот и всё. smile;)

Eurows.org - мой блог
Помогаю новичкам бесплатно создавать и оптимизировать сайты. Подробнее на странице Eurows.org/freelance

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:42

Цитата
webliberty пишет: nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться. Андрей, спасибо, именно так и сделал.

слушай, если тебе нужно закрыть от индексации все ссылки (внешние) поставь плагин WP_No External Links. помогает тиц и пр сохранить.

webliberty

Сообщений: 1120 Регистрация: Окт 2010

#10

25 Октября 2010 11:56

Я теперь вот так сделал:

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Похожие темы:

01.10.2018 16:57	Слетели позиции после изменения robots.txt
17.01.2018 14:13	Передается ли вес через robots.txt у Яндекса
21.07.2017 15:57	Не видит файл robots.txt в Яндекс-Blogger.
15.10.2016 13:41	robots
01.05.2016 10:01	Стоит ли в robots.txt закрывать страницы /page/ ?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
10:03 Как продвигать сайт с неуникальным контентом 08:58 Стоит ли добавлять сайт в Rambler топ 100? 08:57 Absence в Армении 19:29 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 14:50 Индексация страниц 12:36 У кого новостник, дайте пару советов плиз 13:53 AviTool - мощный инструмент для автоматизации работы с Avito	15:52 AllCharge.online. Современный, быстрый и надёжный обменник 15:32 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20 12:01 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 05:17 Продам копию сайта. 04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 01:31 Скрипт обменника валют 21:44 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	11:07 Ну что, кто куда деваете свои сайты? 22:09 Добро пожаловать в цифровой мир... 19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 22:08 Накрутка поисковых подсказок 05:04 Точные прогнозы на футбол 14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди