robots.txt
Страницы: 1
robots.txt, http://orubalochke.ru/
Скажите пожалуйска, как мне лучше всего прописать robotsюече для своего нового сайта на Джумле? orubalochke.ru ?
На даный момент он выглядит так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Не хочю чтобы яндекс и гугл чтото блочили или не индексаровали его. Заранее всем благодарен...
Ну стандартный robots для Joomla 
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
а, забыл еще Host
Host: ваш сайт ( с или без www)
Цитата
Руслан пишет:
Ну стандартный robots для Joomla
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Прям так скопировать и добавить в текст ниже?
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
ну если так, то копируйте
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Host: (здесь ваш сайт)
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Цитата
ЯРуслан пишет:
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Я в этом не очень пока понимаю. Мой сайт orubalochke.ru . Если не сложно пропишите мне пожалуйста как должно быть. Заранее очень благодарен...
User-agent: *
Disallow: /content/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /search/*
Disallow: /*html?task=view
Disallow: /component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /index.php?*
Disallow: /index2.php
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*?sl*
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 5
Host: orubalochke.ru
Я бы посоветовал так. Расписывать, что к чему не буду, очень долго.
Изменено: Руслан - 15 Декабря 2012 19:49
Цитата
Disallow: /*rss.html
Disallow: /*atom.html 
Я бы посоветовала ставить без html
Disallow: /*=rss
Disallow: /*=atom

Ссылки выглядят как или site.ru/index.php?format=feed&type=rss

Если на сайте используется ЧПУ, то можно ограничится.

Disallow: /*?

Это правило так же поможет частично спрятать дубли страниц.
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#*  Disallow: /*#  
Цитата
zurab mentesachvili пишет:
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#* Disallow: /*#
Интересный вопрос. Решение предложить затрудняюсь, но вам стоит учитывать, что ни один из вариантов работать как вы хотите не будет. Символом # начинается комментарий. Сам символ и все, что написано за ним на строке бот проигнорирует. Соответственно он прочитает обе строки как:

Disallow: /*
А это закрывает все страницы сайта от индексации.
Вот так выглядит мой робот.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: cheat-go.ru/sitemap.xml
Sitemap: cheat-go.ru/sitemap-forum.xml
Sitemap: cheat-go.ru/sitemap-shop.xml

[IMG]
Руслан Гулиев,  К чему Ваш пост?!
Тема - CMS » Joomla
А Ваш robots.txt от Ucoz...
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/карта сайта
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:19 Refmate — сервис для взаимного обмена ссылками 
13:06 Продвижение по ключам 
09:47 Adsense личный опыт 
13:13 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:47 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
08:27 Ищу специалистов 
08:18 Прибыль 200$ - 400$, за каждую 1000 уников! Google, FB и тд 
18:48 Продажа аккаунтов HH.RU 
17:38 swapsfera.com 
17:30 GoodsMoney.io 
16:25 JustProxy.Biz - Резидентные прокси без ограничения по трафику 
14:43 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
14:18 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:41 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 
17:46 Всего п онемногу 
12:45 Куплю проигрышные букмекерские аккаунты 
11:55 Union Pharm - топовая фарма-партнерка для профессионалов! 
17:09 Точные прогнозы на футбол 
10:00 Ну что, кто куда деваете свои сайты? 
16:22 Компьютерная мышь 
23:55 Добро пожаловать в цифровой мир...