Корректен ли роботс?

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 13:56

Правильно ли составлен robot.txtСпасибо!

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

Изменено: tet-a-tet - 8 Февраля 2014 14:09

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 14:18

А не секрет, зачем отдельно для яндекса закрывать директории(User-agent: Yandex ), если выше стоит директива для всех роботов User-agent: * ?

User-agent: *
Allow: /

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 14:24

Прошу прощения, строчки User-agent: *
Allow: /
лишние:), а так текст валиден:)

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 14:56

Цитата
Ольга пишет: А не секрет, зачем отдельно для яндекса закрывать директории(User-agent: Yandex )

Да везде пишут что лучше будет отдельно прописывать директивы для яндекса.

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 14:57

И кто то тему мне подправил:)Спс

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 16:12

Если писать, как в Вашем варианте, будет использоваться только вторая часть, начиная с User-agent: Yandex, первое упоминание о месте нахождения карты сайта будет излишним, а строка Host: yoursite.ru может присутствовать в тексте только раз. А так, если сомневаетесь в правильном составлении- в вебмастере яндекса есть валидатор Проверить robots.txt

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 16:54

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /links.php
Disallow: /nk9

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: /search/
Disallow: /*.pdf
Disallow: /*print=1
Disallow: /*type=atom
Disallow: /*type=rss
Disallow: /*task=rss
Disallow: /*?sl*
Disallow: /home.html
Disallow: /home
Disallow: /home.feed?type=rss
Disallow: /index.php

Sitemap: http://www.--------------.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
User-agent: Google
Crawl-delay: 10
User-agent: Yandex
Crawl-delay: 10

Host: www.--------.ru

А что на счет этого скажете?
Спасибо!

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 16:56

Слаб я в этом.. Не знаю даже какой создать для сайта:confused:

Ольга Сообщений: 193 Регистрация: Фев 2013	#9 8 Февраля 2014 17:12 User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /links.php Disallow: /nk9 ----ВСЯ СЕКЦИЯ НЕ ИСПОЛЬЗУЕТСЯ, User-agent: Google Crawl-delay: 10 -----СЕКЦИЯ НЕ ИСПОЛЬЗУЕТСЯ При использовании нескольких директив User-agent, будет исполняться последняя.

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	04:10 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 13:51 CryptoMonitor.info - ваш надеждный обменник BTC USDT XMR (без KYC) 13:16 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 11:11 Belurk — высокоскоростные анонимные прокси от 0,24 рублей 10:23 AllCharge.online. Современный, быстрый и надёжный обменник 01:31 Сайты с зарубежным трафиком КУПЛЮ 20:27 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь 22:55 Ну что, кто куда деваете свои сайты?