Robots.txt для Wordpress

Сообщений: 1120 Регистрация: Окт 2010

20 Октября 2010 11:16

Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Хостинг от 84 руб. в месяц!

Андрей

Сообщений: 29 Регистрация: Апр 2010

21 Октября 2010 15:44

Чего мучаться изобретая велосипед?
Посмотри у пары - тройки приличных и популярных на твой взгляд сайтов, которые работают на WP...
и сделай так же (со своими нюансами,типа хоста и карты сайта)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

23 Октября 2010 21:17

nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться.
Андрей, спасибо, именно так и сделал.

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 01:36

2webliberty: как это в noindex? я же посмотрел и html-код данной страницы, и robots сайта www.cy-pr.com - ваше сообщение попадает в индекс целиком, включая блок "Код".

Почему бы мне не предположить то, что я написал?

P.S. Из-за тебя мне ещё и регистрироваться второй раз пришлось smile:)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 07:55

сообщение содержит только текст, а не активные ссылки

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 21:51

Ну?! А я разве писал про активные ссылки? Я писал про упоминание
Это когда имя домена находится в тексте индексированной страницы. В анализе сайта (сервис cy-pr.com) это параметр Внешние ссылки - Яндекс (упоминания).

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 22:57

такие записи не передают вес

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:41

Цитата

webliberty пишет:
Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.webliberty.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: <a href=\\"http://www.webliberty.ru/sitemap.xml\\" target=\\"_blank\\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Вообщем слушай, так как ты сделал - так нельзя.

Мой роботс выглядит так:

User-agent: Yandex
Disallow: */trackback
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Host: webliberty.ru

User-agent: *
Disallow: */trackback

Ну вот и всё. smile;)

Eurows.org - мой блог
Помогаю новичкам бесплатно создавать и оптимизировать сайты. Подробнее на странице Eurows.org/freelance

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:42

Цитата
webliberty пишет: nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться. Андрей, спасибо, именно так и сделал.

слушай, если тебе нужно закрыть от индексации все ссылки (внешние) поставь плагин WP_No External Links. помогает тиц и пр сохранить.

webliberty

Сообщений: 1120 Регистрация: Окт 2010

#10

25 Октября 2010 11:56

Я теперь вот так сделал:

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Похожие темы:

01.10.2018 16:57	Слетели позиции после изменения robots.txt
17.01.2018 14:13	Передается ли вес через robots.txt у Яндекса
21.07.2017 15:57	Не видит файл robots.txt в Яндекс-Blogger.
15.10.2016 13:41	robots
01.05.2016 10:01	Стоит ли в robots.txt закрывать страницы /page/ ?

Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)

Новые темы	Объявления	Свободное общение
18:44 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 13:43 Стоит ли добавлять сайт в Rambler топ 100? 13:12 Покупные ссылки 12:57 Rotapost прикрыли! Чем пользоваться? 15:12 Ночной бар в Паттайе: как случайная встреча с "тайкой" и её кадыком перевернула мой взгляд на продвижение сайта в Google 2026 15:01 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 07:24 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг	01:31 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 01:07 Full-Stack Developer — Сайты и Софт любой сложности \| Developer Websites and Soft of any Complexity! 20:42 E-currency.exchange — ваш помощник в мире обменов 17:00 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 15:15 Продажа горячих лидов и готовых баз для финансовых проектов, брокеров и чарджбэк-компаний. 08:39 Мониторинг обменников Сrypto-scout.io 04:11 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	22:59 Про мясо 15:07 Добро пожаловать в цифровой мир... 22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях 10:10 накрутка трафика в SimilarWeb 16:50 Компьютерная мышь 22:11 С юмором по жизни! 23:03 Точные прогнозы на футбол