правильный robots txt
Страницы: 1
правильный robots txt, правильный robots txt ?
Здравствуйте уважаемые жители данного форума. Недавно попросил друга сделать для моего блога правильный robots txt, он конечно не гуру оптимизации, но разбирается в таких вопросах лучше меня. Однако он не профессионал, поэтому посоветовал обратиться именно на этот форум для уточнения, правильный robots txt получился или нужно его подкорректировать ? Вот и сам файл robots txt:


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: xn--80ac1bcbgb9aa.xn--p1ai.ru
Sitemap: http://xn--80ac1bcbgb9aa.xn--p1ai/sitemap.xml.gz
Sitemap: http://xn--80ac1bcbgb9aa.xn--p1ai/sitemap.xml

Заранее всех благодарю за помощь и внимание
штудируй
alaev.info/blog/post/4143
Изменено: Slavchik - 24 Ноября 2012 15:48
Забыл указать, что блог на платформе вордпресс, хотя я думаю вы и так поймете из файла  robots txt ну и на всякий случай адрес блога прорабофф.рф
Изменено: Денис - 24 Ноября 2012 18:30
Правильный роботс это тот роботс который скрывает все не нужные страницы именно вашего сайта. Тем самым, он может отличаться в зависимости от потребностей каждого человека. 

Например у меня: 

Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Disallow: /2012*
Disallow: /2011*
Disallow: /rubrika*
Disallow: /page*


Скрывает все категории, теги, метки, архивы и т.д. Остаются только записи. 

* Подходит только для сайтов с установленной функцией "Site.ru/name_post/". 
* На сайты без функции "site.ru/name_post" - Не ставить! 
Оптимизация сайтов - Заказать!
У тебя пропали позиции? Сайт в АГС? Нету посещений? Позиции калл? Пиши мне!
Спасибо уважаемый  JOK3R, всегда слежу за Вашими комментариями и советами, но к сожалению не совсем понял правильный у меня файл роботс или нет.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 
08:23 Rotapost прикрыли! Чем пользоваться? 
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
04:12 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
22:41 SOCKS5 приватные прокси на 30 дней для PayPal 
22:41 Google Voice аккаунты для бесплатных SMS и звонков 
22:40 PayPal аккаунты для любых целей 
18:24 garantcoin.io - быстрый и надёжный сервис обмена криптовалюты GarantCoin 
16:59 Сайты с зарубежным трафиком КУПЛЮ 
16:50 №1 Рассылка / Инвайтинг [TELEGRAM] | Приватный метод 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь