robots.txt

Сообщений: 214 Регистрация: Сен 2011

7 Июля 2012 19:50

Всем привет, подскажите, насколько правильно использовать такой роботс на юкоз, опираясь лишь на яндекс

Host: сайт.ru
User-agent: *
Disallow:

может подскажите как лучше ?

Зарабатывайте на сайте по максимуму

mozambik

Сообщений: 652 Регистрация: Ноя 2011

7 Июля 2012 20:04

Лучше уж вообще ни какой, чем такой!

Tenderlib

Сообщений: 7585 Регистрация: Мар 2010

7 Июля 2012 20:05

Цитата
mozambik пишет: Лучше уж вообще ни какой, чем такой!

Прокомментируйте пожалуйста.

Закажи фриланс на Бустмаркет

Мой канал в ТГ SERM-club
https://t.me/sermclub

Константин

Сообщений: 214 Регистрация: Сен 2011

7 Июля 2012 20:21

действительно подскажите, хочу сайт делать, нашел подобный, в нем такой роботс, и при этому в день доходило до 8к с яндекса при 142 добавленных файла

Павел

Сообщений: 8 Регистрация: Июл 2012

8 Июля 2012 02:50

Павел

Сообщений: 8 Регистрация: Июл 2012

8 Июля 2012 02:55

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: сайт.ru/sitemap.xml
Sitemap: сайт.ru/sitemap-forum.xml
Sitemap: сайт.ru/sitemap-shop.xml

это для яндекса и гугла
и Sitemap которого у вас нету то удалите.

Sitemap: сайт.ru/sitemap.xml-отвечает за содержимое сайта
Sitemap: сайт.ru/sitemap-forum.xml-отвечает за форум
Sitemap: сайт.ru/sitemap-shop.xml-отвечает за интернет магазин

Изменено: Павел - 8 Июля 2012 03:00

Сергей Кононов

Сообщений: 10 Регистрация: Июл 2012

8 Июля 2012 07:29

Цитата
Павел пишет: это для яндекса и гугла

Не совсем так. Яндекс требует дополнительной секции. Корректный файл (для юкоза) выглядит так:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Sitemap: www.сайт.ru/sitemap.xml
Sitemap: www.сайт.ru/sitemap-forum.xml
Sitemap: www.сайт.ru/sitemap-shop.xml

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: www.сайт.ru

Сергей Кононов

Сообщений: 10 Регистрация: Июл 2012

8 Июля 2012 07:31

Цитата
Павел пишет: и Sitemap которого у вас нету то удалите

Здесь все верно

Константин

Сообщений: 214 Регистрация: Сен 2011

8 Июля 2012 13:17

так какой роботс ставить ?

Цитата

Павел пишет:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: сайт.ru/sitemap.xml
Sitemap: сайт.ru/sitemap-forum.xml
Sitemap: сайт.ru/sitemap-shop.xml

это для яндекса и гугла

или этот ?

Цитата

Сергей Кононов пишет:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Sitemap: www.сайт.ru/sitemap.xml
Sitemap: www.сайт.ru/sitemap-forum.xml
Sitemap: www.сайт.ru/sitemap-shop.xml

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: www.сайт.ru

какой лучше ?

KylukovAV Сообщений: 1276 Регистрация: Май 2011	#10 8 Июля 2012 13:35 К первому добавить Disallow: /main/ и сойдет

01.02.2026 07:19	SEO-инструменты слепнут: Ahrefs и Semrush массово банят на сайтах из-за ИИ
27.01.2026 21:46	перводчик
26.01.2026 05:40	Кто-то научился фильтровать новых ИИ-ботов? Метрика сходит с ума
25.01.2026 23:21	Раскрутка форума
24.12.2025 09:29	Продвижение по ключам

Новые темы	Объявления	Свободное общение
16:00 РСЯ и тормоза сайта: Яндекс начал штрафовать за плохой PageSpeed? 15:56 SEO под нейро 15:53 Трафик пробил дно? Худший январь за 10 лет и внезапный рост продаж с Bing 15:50 Яндекс туда же: "Нейро" отжал 50% первого экрана. Органический трафик падает 15:49 Плагин ответа 15:44 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 09:49 Исходящие ссылки из файлов .swf	18:39 SellBuycoin.io - надежный проводник в мир обмена криптовалют на фиат и наличные по РФ! 17:25 SMS.PRO - площадка для продажи твоих номеров 16:14 Все услуги в Телеграм 14:16 Nexulume.com Обменник без AML и KYC 13:43 Anonflare - Приватные IPv4 прокси от 0.39 USD 10:52 Mixmasters - Exchange without AML and KYC 10:29 Admaker.tech - Конструктор ботов \| Магазин \| Подписки \| Обратная связь	16:35 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 15:38 Осталось 3-5 месяцев до блокировки YouTube в России, — заявил Клименко 09:05 Точные прогнозы на футбол 05:31 Ставки на супер тренды в спорте 17:02 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 08:25 Отвратительное поведение 11:00 Кто может дать инвайт на WebMasters?