robots.txt
Страницы: 1
robots.txt, http://orubalochke.ru/
Скажите пожалуйска, как мне лучше всего прописать robotsюече для своего нового сайта на Джумле? orubalochke.ru ?
На даный момент он выглядит так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Не хочю чтобы яндекс и гугл чтото блочили или не индексаровали его. Заранее всем благодарен...
Ну стандартный robots для Joomla 
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
а, забыл еще Host
Host: ваш сайт ( с или без www)
Цитата
Руслан пишет:
Ну стандартный robots для Joomla
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Прям так скопировать и добавить в текст ниже?
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
ну если так, то копируйте
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Host: (здесь ваш сайт)
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Цитата
ЯРуслан пишет:
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Я в этом не очень пока понимаю. Мой сайт orubalochke.ru . Если не сложно пропишите мне пожалуйста как должно быть. Заранее очень благодарен...
User-agent: *
Disallow: /content/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /search/*
Disallow: /*html?task=view
Disallow: /component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /index.php?*
Disallow: /index2.php
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*?sl*
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 5
Host: orubalochke.ru
Я бы посоветовал так. Расписывать, что к чему не буду, очень долго.
Изменено: Руслан - 15 Декабря 2012 19:49
Цитата
Disallow: /*rss.html
Disallow: /*atom.html 
Я бы посоветовала ставить без html
Disallow: /*=rss
Disallow: /*=atom

Ссылки выглядят как или site.ru/index.php?format=feed&type=rss

Если на сайте используется ЧПУ, то можно ограничится.

Disallow: /*?

Это правило так же поможет частично спрятать дубли страниц.
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#*  Disallow: /*#  
Цитата
zurab mentesachvili пишет:
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#* Disallow: /*#
Интересный вопрос. Решение предложить затрудняюсь, но вам стоит учитывать, что ни один из вариантов работать как вы хотите не будет. Символом # начинается комментарий. Сам символ и все, что написано за ним на строке бот проигнорирует. Соответственно он прочитает обе строки как:

Disallow: /*
А это закрывает все страницы сайта от индексации.
Вот так выглядит мой робот.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: cheat-go.ru/sitemap.xml
Sitemap: cheat-go.ru/sitemap-forum.xml
Sitemap: cheat-go.ru/sitemap-shop.xml

[IMG]
Руслан Гулиев,  К чему Ваш пост?!
Тема - CMS » Joomla
А Ваш robots.txt от Ucoz...
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/карта сайта
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
15:08 Стоит ли добавлять сайт в Rambler топ 100? 
12:59 Absence в Армении 
19:29 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
17:29 Как продвигать сайт с неуникальным контентом 
14:50 Индексация страниц 
12:36 У кого новостник, дайте пару советов плиз 
13:53 AviTool - мощный инструмент для автоматизации работы с Avito 
21:59 Продам копию сайта. 
21:44 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
17:24 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc 
14:01 Продам аккаунты Gmail USA IP | Gmail MIX IP | Outlook Old 
13:15 SOCKS5 приватные прокси на 30 дней для PayPal 
13:14 Google Voice аккаунты для бесплатных SMS и звонков 
13:13 PayPal аккаунты для любых целей 
22:09 Добро пожаловать в цифровой мир... 
21:28 Ну что, кто куда деваете свои сайты? 
19:42 Топ-5 способов использовать мобильные прокси для бизнеса: подробный обзор 
22:08 Накрутка поисковых подсказок 
05:04 Точные прогнозы на футбол 
14:01 Union Pharm - топовая фарма-партнерка для профессионалов! 
10:59 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди