Вопрос по robots.txt

Сообщений: 204 Регистрация: Мар 2011

10 Августа 2013 01:39

Уважаемые, подскажите правильное содержание данного файла. Вот сейчас увидел строчку

Disallow: /images/

Это означает что поисковики не индексируют картинки на моем сайте, или я ошибаюсь?
И еще вопрос, так же там строка

Disallow: /components/

,но в индексе Яши несколько тысяч неверных документов вида

/component/jcomments/

/component/jcomments/feed/

/component/jcomments/feed/com_content/

/component/search/?Itemid=

Откуда он их берет, если папки component вообще нет? Как удалить кучу этих ссылок из поисковика? прописать Disallow: /component/ для несуществующей папки?

Вообще разъясните, а то совсем запутался((

Изменено: breaker26 - 10 Августа 2013 01:40

WSairus

Сообщений: 1432 Регистрация: Июн 2010

10 Августа 2013 02:22

Держи, бро:

Код

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/search/
Disallow: /component/content/
#Здесь по аналогии добавь названия других используемых компонентов, например jcomments
#или используй (хотя я так делать не рекомендую) Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*rss.html
Disallow: /*atom.html
#Фиды вообще отключать нужно, а то сайт сольют
Host: site.ru
#Замени на свой сайт

Sitemap: http://site.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
#Замени на свой сайт и подставь адрес sitemap. У меня это компонент xmap

Про images момент спорный. В Joomla индексация изображений по умолчанию запрещена, однако если ее разрешить полезного трафика много не будет. В большинстве с картинок приходят те, кто хочет что-то спи... А component это не папка, это url доступа к помпонентам, оно редиректится на нужные файлы, нужно закрывать от индексации. И мои коменты удалить не забудь.

Партнёрки для заработка!

breaker26

Сообщений: 204 Регистрация: Мар 2011

10 Августа 2013 02:41

Цитата
WSairus пишет: Держи, бро:

СПС ОГРОМНЕЙШЕЕ! сейчас вот еще такой момент узрел((( , т.е. index.php тоже блокировать надо?

Рисунок

WSairus

Сообщений: 1432 Регистрация: Июн 2010

10 Августа 2013 02:59

А у Вас ЧПУ в Joomla включен? Если да (адреса вида site.ru/category/123-article) то можно добавить

Код
Disallow: /index.php?

Если ЧПУ выключен и адреса вида site.ru/index.php?хз=непомнюдальше то этого делать нельзя.

Лично я с такой проблемой не сталкивался.

Новые темы	Объявления	Свободное общение
11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо? 17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут 15:10 Google Discover Core Update: Дискавер отделяют от поиска? 11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?	02:31 Профессиональный и грамотный дизайн от DesignCash 18:27 Nexulume.com Обменник без AML и KYC 15:45 Mixmasters - Exchange without AML and KYC 10:22 Swapwatch.org — Мониторинг криптовалютных обменников 10:19 SwapPix.io - быстрый и безопасный обменник криптовалют. 15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 12:38 Bankomat001 - Сервис обмена электронных валют	02:08 KRAKEN // ссылка на февраль 2026 00:28 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 23:44 Точные прогнозы на футбол 18:34 Ставки на супер тренды в спорте 15:30 Гильотина для классиков: Клод доедает физические книги 11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось? 22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес

Новые темы

Объявления

Свободное общение

11:07 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
06:34 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо?
17:33 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов
15:14 Апдейт Яндекса 7 февраля. Пока серп трясет, некоторые по ботам плачут
15:10 Google Discover Core Update: Дискавер отделяют от поиска?
11:30 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?

02:31 Профессиональный и грамотный дизайн от DesignCash
18:27 Nexulume.com Обменник без AML и KYC
15:45 Mixmasters - Exchange without AML and KYC
10:22 Swapwatch.org — Мониторинг криптовалютных обменников
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют.
15:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
12:38 Bankomat001 - Сервис обмена электронных валют

02:08 K*R*A*K*EN // ссылка на февраль 2026
00:28 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
23:44 Точные прогнозы на футбол
18:34 Ставки на супер тренды в спорте
15:30 Гильотина для классиков: Клод доедает физические книги
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?
22:31 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес

07.05.2015 19:15	Вопрос по joomla перенос на сервер с базой с другого сервера
06.05.2015 07:02	Вопрос профи в создании шаблонов на Joomla
05.12.2014 20:39	Robots для джумлы
20.10.2014 19:18	важные вопросы по joomla 3.3.3
14.09.2014 19:50	Вопрос про Mod News Pro GK4