Правильный Robots.txt для WP

Сообщений: 1229 Регистрация: Апр 2011

22 Апреля 2011 05:23

Здравствуйте, посоветуйте Robots.Txt для блога.
Сейчас стоит:

Код

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: seo-bob.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: <a href=\"http://seo-bob.ru/sitemap.xml\" target=\"_blank\">http://seo-bob.ru/sitemap.xml</a>

...

Rolexx93

Сообщений: 249 Регистрация: Июл 2010

26 Апреля 2011 16:34

В принципе все правильно =)

ICE

Сообщений: 351 Регистрация: Апр 2010

26 Апреля 2011 16:57

Не вижу закрытие еще teg`ов. Не считаете нужным? smile:)

Фабрика сайтов или как создать вебстудию на опыте других

Rolexx93

Сообщений: 249 Регистрация: Июл 2010

26 Апреля 2011 17:10

Цитата
ICE пишет: Не вижу закрытие еще teg`ов. Не считаете нужным?

Я лично теги не закрывал)Они кстате нормально индексируются)
Например у меня ссылки типа:

http://worldinseo.ru/tag/ucoz -индексриуются очень даже не плохо) smile:)

Так что не считаю нужным закрывать теги от индексации!

ICE

Сообщений: 351 Регистрация: Апр 2010

26 Апреля 2011 18:28

Rolexx93, ну не знаю. У меня до закрытия тегов % страниц не под фильтром гугла было 1-2. Закрыл месяц назад - начали вылазить...мало, но 4-5% лучше smile:o

abc000

Сообщений: 1229 Регистрация: Апр 2011

27 Апреля 2011 11:31

ICE, нет нужным не считаю.
Как я понял каких-то грубых ошибок не допущено так?!

Александр Курнюк

Сообщений: 19 Регистрация: Авг 2010

21 Мая 2011 22:27

я тоже все закрываю. А то в поиске всякая фигня вылазит.

Rolexx93

Сообщений: 249 Регистрация: Июл 2010

28 Мая 2011 14:03

Все больше уверяю себя что теги очень хорошо индексируются и закрывать их не стоит smile:mail:

А "% страниц не под фильтром гугла" зависит не от этого)

Тут скорее всего играет роль уникальность)и обновление сайта

Александр Курнюк

Сообщений: 19 Регистрация: Авг 2010

28 Мая 2011 22:21

фильтры гугл накладывает за разное.

al2

Сообщений: 5 Регистрация: Дек 2010

#10

4 Июня 2011 13:21

Всем привет! В зависимости от того какую цель преследует проект, такой и прописывается робот, но это еще пол дела, желательно, чтобы он совпадал с внутренними настройками плагинов WordPress. Однозначно ответить будет не правильно. Постарайтесь понять одно важное правило. Для каждой определенной цели которую преследует сайт делаются определенные настройки. Примечание: на первый взгляд правильно прописанный робот, на начальном этапе развития молодого ресурса, может ему даже навредить в продвижении. Желаю удачи и хорошего трафика. С Уважением! Учредитель Интернет проекта SAGAT Club.ru ( http://sagata-club.ru/ )

Gena Gabdullin Сообщений: 303 Регистрация: Июн 2011	#11 10 Июня 2011 11:06 Всем привет ,на WordPress недавно, до этого пользовался джумлой и у меян возникла проблема. яндекс проиндексировал мой сайт, загрузил всего 30 страниц, не исключил ни одной, но в поиске только Главная страница. В роботе закрыл только User-agent: * Disallow: /blog/wp-login.php Disallow: /blog/wp-admin/ Disallow: /blog/wp-includes/ Disallow: /blog/wp-content/ Disallow: /blog/xmlrpc.php Такде не индексируются записи в рубриках, не подскажите куда смотреть? Настройка Linux<br /> Обои Ubuntu

Новые темы	Объявления	Свободное общение
21:27 ИИ врёт, но ему всё равно верят. Что это значит для сайтов и трафика 19:21 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 19:17 Штрафы за крипту до 2 млн + ап Яндекса 19 апреля - что опять поменяли и куда всё катится? 17:35 Заходишь на сайт, а там уже левые товары вместо контента. Новый тип SEO-взлома уже в деле? 17:25 Скан глаза для Zoom и Tinder + ап Яндекса 21 апреля. К этому реально всё идёт? 16:53 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 15:02 Claude по паспорту + апдейт Яндекса 17 апреля - у кого что по выдаче	18:46 buyingproxy.com \| $0.95/GB Residential Proxies - 80M+ IPs \| No Bandwidth Expiry 18:10 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 17:38 YoChange.com - Ваш лучший помощник в обмене цифровых валют! 14:52 Прошу оценить сайт 13:56 Owlchange.com — сервис обмена криптовалют с выплатами в фиат 13:39 Вериф аккаунты АВИТО + платежи 10:26 Мониторинг обменников Сrypto-scout.io	00:15 Ставки на супер тренды в спорте 00:07 Точные прогнозы на футбол 23:19 Хочешь чат в PlayStation? Покажи лицо. Как нас постепенно привязывают к личности 21:31 ЕС сделал проверку возраста, а её уже ломают за минуты. Серьёзно? 17:20 Список обновленных тем пуст... 19:57 Во Франции начали штрафовать за IPTV - до 300-400 евро уже прилетает обычным пользователям 17:02 арбитражники