Корректен ли роботс?

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 13:56

Правильно ли составлен robot.txtСпасибо!

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

Изменено: tet-a-tet - 8 Февраля 2014 14:09

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 14:18

А не секрет, зачем отдельно для яндекса закрывать директории(User-agent: Yandex ), если выше стоит директива для всех роботов User-agent: * ?

User-agent: *
Allow: /

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*mailto/
Sitemap: http://блабла.ru/sitemap
Host: yoursite.ru

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 14:24

Прошу прощения, строчки User-agent: *
Allow: /
лишние:), а так текст валиден:)

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 14:56

Цитата
Ольга пишет: А не секрет, зачем отдельно для яндекса закрывать директории(User-agent: Yandex )

Да везде пишут что лучше будет отдельно прописывать директивы для яндекса.

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 14:57

И кто то тему мне подправил:)Спс

Ольга

Сообщений: 193 Регистрация: Фев 2013

8 Февраля 2014 16:12

Если писать, как в Вашем варианте, будет использоваться только вторая часть, начиная с User-agent: Yandex, первое упоминание о месте нахождения карты сайта будет излишним, а строка Host: yoursite.ru может присутствовать в тексте только раз. А так, если сомневаетесь в правильном составлении- в вебмастере яндекса есть валидатор Проверить robots.txt

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 16:54

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /links.php
Disallow: /nk9

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: /search/
Disallow: /*.pdf
Disallow: /*print=1
Disallow: /*type=atom
Disallow: /*type=rss
Disallow: /*task=rss
Disallow: /*?sl*
Disallow: /home.html
Disallow: /home
Disallow: /home.feed?type=rss
Disallow: /index.php

Sitemap: http://www.--------------.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
User-agent: Google
Crawl-delay: 10
User-agent: Yandex
Crawl-delay: 10

Host: www.--------.ru

А что на счет этого скажете?
Спасибо!

tet-a-tet

Сообщений: 120 Регистрация: Янв 2014

8 Февраля 2014 16:56

Слаб я в этом.. Не знаю даже какой создать для сайта:confused:

Ольга Сообщений: 193 Регистрация: Фев 2013	#9 8 Февраля 2014 17:12 User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /links.php Disallow: /nk9 ----ВСЯ СЕКЦИЯ НЕ ИСПОЛЬЗУЕТСЯ, User-agent: Google Crawl-delay: 10 -----СЕКЦИЯ НЕ ИСПОЛЬЗУЕТСЯ При использовании нескольких директив User-agent, будет исполняться последняя.

22.10.2017 19:21	Как закрыть в роботс страницы пагинации с главной, но оставить с рубрик?
10.09.2017 23:00	Как закрыть в роботс страницу?
03.07.2017 10:49	Сменили движок и дизайн, роботс заблокировал почти весь сайт
29.06.2017 22:26	Вопрос о роботс
28.03.2017 13:47	Настройка роботс

Новые темы	Объявления	Свободное общение
00:45 С чего сейчас проще начать? 00:22 Раскрутка форума 00:17 Бесплатное получение бэклинков 00:16 Бесплатное расширение для Chrome — проверка ссылок прямо на странице 00:05 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 23:48 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 08:21 Продвижение-2022: Гугл все? Нет – Гугл не все!	00:22 BITzaBIT.com - обмен криптовалют, выплаты EUR, CAD, GBP, AZN, TJS, UZS 00:13 SpeedyIndex - ускорение индексирования ссылок в Google. 100 ссылок в подарок. 23:39 Продам сайт Домен РУ RU РФ c доменом www.доменру.рф 18:46 Прямой поставщик услуг для MAX 17:52 Mixmasters - Exchange without AML and KYC 16:47 Продам домен translated.ru 16:11 TUNNEL-to-PROXY: превращает тысячи публичных сетевых конфигураций - в стабильные SOCKS5-прокси!	00:10 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 23:59 Почему не обновляется счетчик ИКС (индекса качества сайта) 21:20 Точные прогнозы на футбол 19:38 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 14:56 молодильные яблоки и живая вода 06:50 Ставки на супер тренды в спорте 13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем