Robots.txt для Wordpress

Сообщений: 1120 Регистрация: Окт 2010

20 Октября 2010 11:16

Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /tag/
Disallow: /page/
Disallow: /category/
Disallow: /search/
Disallow: /author/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Хостинг от 84 руб. в месяц!

Андрей

Сообщений: 29 Регистрация: Апр 2010

21 Октября 2010 15:44

Чего мучаться изобретая велосипед?
Посмотри у пары - тройки приличных и популярных на твой взгляд сайтов, которые работают на WP...
и сделай так же (со своими нюансами,типа хоста и карты сайта)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

23 Октября 2010 21:17

nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться.
Андрей, спасибо, именно так и сделал.

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 01:36

2webliberty: как это в noindex? я же посмотрел и html-код данной страницы, и robots сайта www.cy-pr.com - ваше сообщение попадает в индекс целиком, включая блок "Код".

Почему бы мне не предположить то, что я написал?

P.S. Из-за тебя мне ещё и регистрироваться второй раз пришлось smile:)

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 07:55

сообщение содержит только текст, а не активные ссылки

2webliberty

Сообщений: 6 Регистрация: Окт 2010

24 Октября 2010 21:51

Ну?! А я разве писал про активные ссылки? Я писал про упоминание
Это когда имя домена находится в тексте индексированной страницы. В анализе сайта (сервис cy-pr.com) это параметр Внешние ссылки - Яндекс (упоминания).

webliberty

Сообщений: 1120 Регистрация: Окт 2010

24 Октября 2010 22:57

такие записи не передают вес

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:41

Цитата

webliberty пишет:
Вот такая проблема, недавно завел блог на вордпрессе, и не знаю правильно ли составил роботс, посмотрите пожалуйста:

Код

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.webliberty.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /tag/

Disallow: /page/

Disallow: /category/

Disallow: /search/

Disallow: /author/

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: <a href=\\"http://www.webliberty.ru/sitemap.xml\\" target=\\"_blank\\">http://www.webliberty.ru/sitemap.xml</a>

Извиняюсь если не в ту тему написал...

Вообщем слушай, так как ты сделал - так нельзя.

Мой роботс выглядит так:

User-agent: Yandex
Disallow: */trackback
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Host: webliberty.ru

User-agent: *
Disallow: */trackback

Ну вот и всё. smile;)

Eurows.org - мой блог
Помогаю новичкам бесплатно создавать и оптимизировать сайты. Подробнее на странице Eurows.org/freelance

Euro

Сообщений: 72 Регистрация: Авг 2010

25 Октября 2010 11:42

Цитата
webliberty пишет: nr23.ru, не судите по себе. Вы прекрасно видите что все сожержимое роботса в коде и не будет индексироваться. Андрей, спасибо, именно так и сделал.

слушай, если тебе нужно закрыть от индексации все ссылки (внешние) поставь плагин WP_No External Links. помогает тиц и пр сохранить.

webliberty

Сообщений: 1120 Регистрация: Окт 2010

#10

25 Октября 2010 11:56

Я теперь вот так сделал:

Код

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.webliberty.ru
Sitemap: <a href=\"http://www.webliberty.ru/sitemap.xml\" target=\"_blank\">http://www.webliberty.ru/sitemap.xml</a>

18.03.2026 14:31	Robots txt
01.10.2018 16:57	Слетели позиции после изменения robots.txt
17.01.2018 14:13	Передается ли вес через robots.txt у Яндекса
21.07.2017 15:57	Не видит файл robots.txt в Яндекс-Blogger.
15.10.2016 13:41	robots

Новые темы	Объявления	Свободное общение
09:13 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 09:04 Раскрутка форума 07:30 Кнопки "скрыть" и "пожаловаться" в рекламе яндекса 19:40 adsense в 2026: кто реально выводит копейку через киргизию? 14:09 2Index - быстрая индексация страниц сайта и обратных ссылок 12:26 Очередной взлом через плагин. Хакеры получают админку без пароля 12:12 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options	09:18 PayPal аккаунты для любых целей 17:18 SOCKS5 приватные прокси на 30 дней для PayPal 17:16 Google Voice аккаунты для бесплатных SMS и звонков 15:11 HH.ru Работадателя вериф 14:49 4G/LTE Mobile Proxy 30+ geo 14:43 [UPDATE] CryptoMonitor — обмен BTC, USDT, XMR \| актуальная тема сервиса 13:32 Мониторинг обменников Сrypto-scout.io	09:10 Огородники 05:10 Точные прогнозы на футбол 19:36 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 16:47 Какой фильм вы любите посмотреть перед сном? 15:46 молодильные яблоки и живая вода 10:11 О природе путешествий. 15:04 Сайты Рунета