Robots.txt

Сообщений: 1177 Регистрация: Окт 2010

3 Января 2012 18:01

Нормальный ли роботс для Ucoz сайтов или есть недочеты?

Цитата

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /images/
Disallow: /js/
Disallow: /icon/

Host: сайт

Sitemap: http://сайт/sitemap.xml
Sitemap: http://сайт/sitemap-forum.xml

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /images/
Disallow: /js/
Disallow: /icon/
Host: сайт
Sitemap: http://сайт/sitemap.xml

Изменено: Максим Озорнин - 3 Января 2012 18:01

KylukovAV

Сообщений: 1276 Регистрация: Май 2011

3 Января 2012 18:11

Код
/main/

вроде так называется точно не помню год как с юкозом завязал smile;)

, за статистику отвечает вроде

mozambik

Сообщений: 652 Регистрация: Ноя 2011

3 Января 2012 18:21

Небольшие ошибочки.
Директиву host смысл писать только для яндекса.
Карту сайта не нужно дублировать.
Записать в самом конце.

KylukovAV

Сообщений: 1276 Регистрация: Май 2011

3 Января 2012 18:26

еще вспомнил, во память та помнят еще руки smile:D

Код
/_ld/

Максим Озорнин

Сообщений: 1177 Регистрация: Окт 2010

3 Января 2012 18:34

спасибо за помощь, а вот разница есть, Строки?...ну то есть

Цитата
Disallow: /icon/ Host: сайт Sitemap: http://сайт/sitemap.xml Sitemap: http://сайт/sitemap-forum.xml

или

Цитата
Disallow: /icon/ Host: сайт Sitemap: http://сайт/sitemap.xml Sitemap: http://сайт/sitemap-forum.xml

BlackNice

Сообщений: 388 Регистрация: Фев 2011

3 Января 2012 19:09

Цитата

Максим Озорнин пишет:
спасибо за помощь, а вот разница есть, Строки?...ну то есть

Цитата
Disallow: /icon/ Host: сайт Sitemap: http://сайт/sitemap.xml Sitemap: http://сайт/sitemap-forum.xml

или

Цитата
Disallow: /icon/ Host: сайт Sitemap: http://сайт/sitemap.xml Sitemap: http://сайт/sitemap-forum.xml

Без разницы

Лучшая партнерка для онлайн кино

Redrik

Сообщений: 18 Регистрация: Авг 2011

3 Января 2012 19:13

Цитата

Максим Озорнин пишет:
User-agent: Yandex Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /images/ Disallow: /js/ Disallow: /icon/ Host: сайт Sitemap: http://сайт/sitemap.xml

Весь этот кусок выбросьте. Строчка User-agent: * открывает индексацию для всех роботов. Делать отдельное приглашение для Яндекса, это какое-то бессмысленное массовое помешательство.

Руслан

Сообщений: 240 Регистрация: Ноя 2011

4 Января 2012 14:18

Народ подскажите у меня проблема, поставил Sitemap все страницы улетели с поисковиков и В Гугле и в Яндексе.
Кто знает Жумлу проверте роботс плиз мож не так что-то влепил
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Host: http: //www.komandor.dn.ua/

Sitemap: http://www.komandor.dn.ua/index.php?option=com_xmap&sitemap=1

http://www.komandor.dn.ua

Руслан Сообщений: 240 Регистрация: Ноя 2011	#9 4 Января 2012 14:43 Что в Жумле ни кто не шарит?

Новые темы	Объявления	Свободное общение
19:04 SEO под нейро 17:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент? 17:16 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом) 17:05 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 16:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 13:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 12:51 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов	20:20 Mixmasters - Exchange without AML and KYC 17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram 16:49 Nexulume.com Обменник без AML и KYC 15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др. 11:12 AllCharge.online. Современный, быстрый и надёжный обменник 04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств	21:37 Точные прогнозы на футбол 19:06 Отвратительное поведение 19:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 15:56 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 12:48 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 11:00 Кто может дать инвайт на WebMasters? 17:58 Список обновленных тем пуст...

Новые темы

Объявления

Свободное общение

19:04 SEO под нейро
17:20 Дзен окончательно всё? Или у кого-то еще «стреляет» белый контент?
17:16 [AI] 90% против нейросетей? Красивые цифры от DuckDuckGo (с подвохом)
17:05 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing
16:28 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
13:51 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу.
12:51 Гугл официально убивает клики: кнопка "Show more" теперь открывает чат на весь экран вместо сайтов

20:20 Mixmasters - Exchange without AML and KYC
17:22 TELEGRAM EXPERT — Многоцелевой комбайн по работе с Telegram
16:49 Nexulume.com Обменник без AML и KYC
15:35 Продам базу данных предприятий Украины, России, Великобритании, Германии, Испании, Италии, Нидерландов, Польши, Франции, Швейцарии и др.
11:12 AllCharge.online. Современный, быстрый и надёжный обменник
04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
20:58 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств

21:37 Точные прогнозы на футбол
19:06 Отвратительное поведение
19:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем
15:56 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко
12:48 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес
11:00 Кто может дать инвайт на WebMasters?
17:58 Список обновленных тем пуст...

вчера, 07:19	SEO-инструменты слепнут: Ahrefs и Semrush массово банят на сайтах из-за ИИ
27.01.2026 21:46	перводчик
26.01.2026 05:40	Кто-то научился фильтровать новых ИИ-ботов? Метрика сходит с ума
25.01.2026 23:21	Раскрутка форума
24.12.2025 09:29	Продвижение по ключам