Вопрос по robots.txt
Страницы: 1
Вопрос по robots.txt
Уважаемые, подскажите правильное содержание данного файла. Вот сейчас увидел строчку

Disallow: /images/

Это означает что поисковики не индексируют картинки на моем сайте, или я ошибаюсь?
И еще вопрос, так же там строка

Disallow: /components/

,но в индексе Яши несколько тысяч неверных документов вида

/component/jcomments/

/component/jcomments/feed/

/component/jcomments/feed/com_content/

/component/search/?Itemid=

Откуда он их берет, если папки component вообще нет? Как удалить кучу этих ссылок из поисковика? прописать Disallow: /component/  для несуществующей папки?


Вообще разъясните, а то совсем запутался((
Изменено: breaker26 - 10 Августа 2013 01:40
Держи, бро:
Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/search/
Disallow: /component/content/
#Здесь по аналогии добавь названия других используемых компонентов, например jcomments
#или используй (хотя я так делать не рекомендую) Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*rss.html
Disallow: /*atom.html
#Фиды вообще отключать нужно, а то сайт сольют
Host: site.ru
#Замени на свой сайт

Sitemap: http://site.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
#Замени на свой сайт и подставь адрес sitemap. У меня это компонент xmap


Про images момент спорный. В Joomla индексация изображений по умолчанию запрещена, однако если ее разрешить полезного трафика много не будет. В большинстве с картинок приходят те, кто хочет что-то спи... А component это не папка, это url доступа к помпонентам, оно редиректится на нужные файлы, нужно закрывать от индексации. И мои коменты удалить не забудь.
Цитата
WSairus пишет:
Держи, бро:

СПС ОГРОМНЕЙШЕЕ! сейчас вот еще такой момент узрел((( , т.е. index.php тоже блокировать надо?

Рисунок
А у Вас ЧПУ в Joomla включен? Если да (адреса вида site.ru/category/123-article) то можно добавить
Код
Disallow: /index.php?

Если ЧПУ выключен и адреса вида site.ru/index.php?хз=непомнюдальше то этого делать нельзя.

Лично я с такой проблемой не сталкивался.
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
17:40 25.12.25 Апдейт Яндекс выдача 
07:36 AntiBot Cloud - бесплатный скрипт и сервис защиты сайтов 
01:45 С наступающим Новым годом! АП Яндекс ИКС 23.12.2025 
22:15 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
22:13 Trafee.com – эффективная монетизация вашего дейтинг трафика 
17:59 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
16:27 Как вывести сайт в ТОП Google в конкурентной тематике? Рецепт: ссылки плюс низкочастотные длинные ключи 
18:43 TELEGRAM SOFT Gods\Expert - Многоцелевой комбайн по работе с телеграмм 
17:44 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 
17:43 VING.exchange — простой и надежный обмен криптовалют на СБП RUB 
15:21 Продвижение на Авито 
14:07 GhostRocket.pro — Взлетаем в новую эру криптообмена! 
12:10 Mixmasters - Exchange without AML and KYC 
11:08 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
17:36 С юмором по жизни! 
13:34 Компьютерная мышь 
13:13 Куплю проигрышные букмекерские аккаунты 
22:59 Про мясо 
15:07 Добро пожаловать в цифровой мир... 
22:12 BYTIK.shop – сервис по продвижению в популярных социальных сетях​ 
10:10 накрутка трафика в SimilarWeb