robots.txt
Страницы: 1
robots.txt, http://orubalochke.ru/
Скажите пожалуйска, как мне лучше всего прописать robotsюече для своего нового сайта на Джумле? orubalochke.ru ?
На даный момент он выглядит так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Не хочю чтобы яндекс и гугл чтото блочили или не индексаровали его. Заранее всем благодарен...
Ну стандартный robots для Joomla 
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
а, забыл еще Host
Host: ваш сайт ( с или без www)
Цитата
Руслан пишет:
Ну стандартный robots для Joomla
я бы добавил строки от дублей

Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
и вот эту гадость
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Прям так скопировать и добавить в текст ниже?
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
ну если так, то копируйте
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Host: (здесь ваш сайт)
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Цитата
ЯРуслан пишет:
Цитата
Bob mobobob пишет:
Цитата
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.htmlBob mobobob пишет:
Disallow: /*.pdf$
Disallow: /*rss.html
Disallow: /*atom.html
Здесь повнимательнее, много повторов.
Я в этом не очень пока понимаю. Мой сайт orubalochke.ru . Если не сложно пропишите мне пожалуйста как должно быть. Заранее очень благодарен...
User-agent: *
Disallow: /content/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content
Disallow: /index.php?option=com_content
Disallow: /search/*
Disallow: /*html?task=view
Disallow: /component/
Disallow: /index.php
Disallow: /search.html
Disallow: /?Itemid
Disallow: /index.php?*
Disallow: /index2.php
Disallow: /*.pdf$
Disallow: /*print=1
Disallow: /*?sl*
Disallow: /*home.html
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 5
Host: orubalochke.ru
Я бы посоветовал так. Расписывать, что к чему не буду, очень долго.
Изменено: Руслан - 15 Декабря 2012 19:49
Цитата
Disallow: /*rss.html
Disallow: /*atom.html 
Я бы посоветовала ставить без html
Disallow: /*=rss
Disallow: /*=atom

Ссылки выглядят как или site.ru/index.php?format=feed&type=rss

Если на сайте используется ЧПУ, то можно ограничится.

Disallow: /*?

Это правило так же поможет частично спрятать дубли страниц.
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#*  Disallow: /*#  
Цитата
zurab mentesachvili пишет:
Я не могу понять я правильно закрываю Этот знал # или как быть мне показывает в дублях #comments и #addcomment вот конце адресной строки.

Disallow: /*#* Disallow: /*#
Интересный вопрос. Решение предложить затрудняюсь, но вам стоит учитывать, что ни один из вариантов работать как вы хотите не будет. Символом # начинается комментарий. Сам символ и все, что написано за ним на строке бот проигнорирует. Соответственно он прочитает обе строки как:

Disallow: /*
А это закрывает все страницы сайта от индексации.
Вот так выглядит мой робот.

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: cheat-go.ru/sitemap.xml
Sitemap: cheat-go.ru/sitemap-forum.xml
Sitemap: cheat-go.ru/sitemap-shop.xml

[IMG]
Руслан Гулиев,  К чему Ваш пост?!
Тема - CMS » Joomla
А Ваш robots.txt от Ucoz...
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: Ваш сайт.ru
Sitemap: http://Ваш сайт.ru/карта сайта
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 
15:10 Google Discover Core Update: Дискавер отделяют от поиска? 
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
18:27 Nexulume.com Обменник без AML и KYC 
15:45 Mixmasters - Exchange without AML and KYC 
10:22 Swapwatch.org — Мониторинг криптовалютных обменников 
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют. 
15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
12:38 Bankomat001 - Сервис обмена электронных валют 
10:42 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
20:49 Точные прогнозы на футбол 
20:42 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
18:34 Ставки на супер тренды в спорте 
15:30 Гильотина для классиков: Клод доедает физические книги 
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
13:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко