robots.txt
Страницы: 1
robots.txt, http://orubalochke.ru/
Скажите пожалуйска, как мне лучше всего прописать robotsюече для своего нового сайта на Джумле? orubalochke.ru ?
На даный момент он выглядит так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Не хочю чтобы яндекс и гугл чтото блочили или не индексаровали его. Заранее всем благодарен...
Ну стандартный robots для Joomla 
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
а, забыл еще Host
Host: ваш сайт ( с или без www)
Цитата
Руслан пишет:
Ну стандартный robots для Joomla
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Прям так скопировать и добавить в текст ниже?
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
ну если так, то копируйте
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Host: (здесь ваш сайт)
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Цитата
ЯРуслан пишет:
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Я в этом не очень пока понимаю. Мой сайт orubalochke.ru . Если не сложно пропишите мне пожалуйста как должно быть. Заранее очень благодарен...
User-agent: *
Disallow: /content/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /search/*
Disallow: /*html?task=view
Disallow: /component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /index.php?*
Disallow: /index2.php
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*?sl*
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 5
Host: orubalochke.ru
Я бы посоветовал так. Расписывать, что к чему не буду, очень долго.
Изменено: Руслан - 15 Декабря 2012 19:49
Цитата
Disallow: /*rss.html
Disallow: /*atom.html 
Я бы посоветовала ставить без html
Disallow: /*=rss
Disallow: /*=atom

Ссылки выглядят как или site.ru/index.php?format=feed&type=rss

Если на сайте используется ЧПУ, то можно ограничится.

Disallow: /*?

Это правило так же поможет частично спрятать дубли страниц.
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#*  Disallow: /*#  
Цитата
zurab mentesachvili пишет:
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#* Disallow: /*#
Интересный вопрос. Решение предложить затрудняюсь, но вам стоит учитывать, что ни один из вариантов работать как вы хотите не будет. Символом # начинается комментарий. Сам символ и все, что написано за ним на строке бот проигнорирует. Соответственно он прочитает обе строки как:

Disallow: /*
А это закрывает все страницы сайта от индексации.
Вот так выглядит мой робот.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: cheat-go.ru/sitemap.xml
Sitemap: cheat-go.ru/sitemap-forum.xml
Sitemap: cheat-go.ru/sitemap-shop.xml

[IMG]
Руслан Гулиев,  К чему Ваш пост?!
Тема - CMS » Joomla
А Ваш robots.txt от Ucoz...
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/карта сайта
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
09:57 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
19:33 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
17:02 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:12 Несколько статей хорошо выдаются в Гугле, но отвратительно в Яндексе 
13:40 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
11:41 2Index - быстрая индексация страниц сайта и обратных ссылок 
23:00 Продвижение по ключам 
20:45 SnapSwap.io — мгновенный обмен BTC, XMR, ETH, USDT и других криптовалют без регистрации! 
18:11 Clearex.io - Больше чем обменник 
16:04 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 
13:46 Продвижение сайтов в ТОП Яндекса за 2 недели. Рост позиций и трафика. Бесплатный тест. 
12:28 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
11:31 Продвижение сайтов 
03:51 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь 
22:55 Ну что, кто куда деваете свои сайты? 
22:34 Используете беспроводные наушники?