Корректен ли роботс?

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 13:56

Правильно ли составлен robot.txtСпасибо!

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

Изменено: tet-a-tet - 8 Февраля 2014 14:09

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 14:18

А не секрет, зачем отдельно для яндекса закрывать директории(User-agent: Yandex ), если выше стоит директива для всех роботов User-agent: * ?

User-agent: *
Allow: /

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 14:24

Прошу прощения, строчки User-agent: *
Allow: /
лишние:), а так текст валиден:)

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 14:56

Цитата
Ольга пишет: А не секрет, зачем отдельно для яндекса закрывать директории(User-agent: Yandex )

Да везде пишут что лучше будет отдельно прописывать директивы для яндекса.

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 14:57

И кто то тему мне подправил:)Спс

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 16:12

Если писать, как в Вашем варианте, будет использоваться только вторая часть, начиная с User-agent: Yandex, первое упоминание о месте нахождения карты сайта будет излишним, а строка Host: yoursite.ru может присутствовать в тексте только раз. А так, если сомневаетесь в правильном составлении- в вебмастере яндекса есть валидатор Проверить robots.txt

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 16:54

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /links.php
Disallow: /nk9

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: /search/
Disallow: /*.pdf
Disallow: /*print=1
Disallow: /*type=atom
Disallow: /*type=rss
Disallow: /*task=rss
Disallow: /*?sl*
Disallow: /home.html
Disallow: /home
Disallow: /home.feed?type=rss
Disallow: /index.php

Sitemap: http://www.--------------.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
User-agent: Google
Crawl-delay: 10
User-agent: Yandex
Crawl-delay: 10

Host: www.--------.ru

А что на счет этого скажете?
Спасибо!

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 16:56

Слаб я в этом.. Не знаю даже какой создать для сайта:confused:

Ольга Сообщений: 193 Регистрация: Фев 2013	#9 8 Февраля 2014 17:12 User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /links.php Disallow: /nk9 ----ВСЯ СЕКЦИЯ НЕ ИСПОЛЬЗУЕТСЯ, User-agent: Google Crawl-delay: 10 -----СЕКЦИЯ НЕ ИСПОЛЬЗУЕТСЯ При использовании нескольких директив User-agent, будет исполняться последняя.

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс

Новые темы	Объявления	Свободное общение
21:30 kraken зеркало рабочее 20:33 Телега на ручнике: РКН включил замедление и логи админок покраснели 18:06 SEO под нейро 17:59 Гугл уходит из России: почему интернет тормозит и что делать 17:48 Ютуб - все: РКН вырубил свет через DNS и НСДИ 16:15 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 13:46 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает	18:49 CRYPTO ЛИДЫ! Свежак! -Физы -Форекс -Крипта 18:13 Portfel.cc - современный помощник в Ваших финансовых операциях. 18:08 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 16:56 Сервис смс активаций и аренды мобильных номеров ALISMS 16:09 Bardo — Бюро развития и координации цифровых операций. 13:30 SiteAnalyzer SEO Tools - бесплатное браузерное расширение для Chrome & Firefox 13:14 BestChange – обменивать электронную валюту можно быстро и выгодно	20:42 Отвратительное поведение 20:35 Туалетные секреты: Замурчательная тема 20:06 Ставки на супер тренды в спорте 18:16 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 18:15 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 18:13 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 18:11 SIM к IMEI и лимиты на карты: итоги первого чтения в Думе