robots.txt
Страницы: 1
robots.txt, подскажите
Всем привет, подскажите, насколько правильно использовать такой роботс на юкоз, опираясь лишь на яндекс

Host: сайт.ru
User-agent: *
Disallow:

может подскажите как лучше ?
Лучше уж вообще ни какой, чем такой!
Цитата
mozambik пишет:
Лучше уж вообще ни какой, чем такой!
Прокомментируйте пожалуйста.
действительно подскажите, хочу сайт делать, нашел подобный, в нем такой роботс, и при этому в день доходило до 8к с яндекса при 142 добавленных файла
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: vkino-teleke.ru/sitemap.xml
Sitemap: vkino-teleke.ru/sitemap-forum.xml
Sitemap: vkino-teleke.ru/sitemap-shop.xml
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: сайт.ru/sitemap.xml
Sitemap: сайт.ru/sitemap-forum.xml
Sitemap: сайт.ru/sitemap-shop.xml


это для яндекса и гугла
и Sitemap которого у вас нету то удалите.

Sitemap: сайт.ru/sitemap.xml-отвечает за содержимое сайта
Sitemap: сайт.ru/sitemap-forum.xml-отвечает за форум
Sitemap: сайт.ru/sitemap-shop.xml-отвечает за интернет магазин
Изменено: Павел - 8 Июля 2012 03:00
Цитата
Павел пишет:
это для яндекса и гугла
Не совсем так. Яндекс требует дополнительной секции. Корректный файл (для юкоза) выглядит так:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Sitemap: www.сайт.ru/sitemap.xml
Sitemap: www.сайт.ru/sitemap-forum.xml
Sitemap: www.сайт.ru/sitemap-shop.xml

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: www.сайт.ru
Цитата
Павел пишет:
и Sitemap которого у вас нету то удалите
Здесь все верно
так какой роботс ставить ?



Цитата
Павел пишет:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: сайт.ru/sitemap.xml
Sitemap: сайт.ru/sitemap-forum.xml
Sitemap: сайт.ru/sitemap-shop.xml


это для яндекса и гугла

или этот ?




Цитата
Сергей Кононов пишет:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Sitemap: www.сайт.ru/sitemap.xml
Sitemap: www.сайт.ru/sitemap-forum.xml
Sitemap: www.сайт.ru/sitemap-shop.xml

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: www.сайт.ru

какой лучше ?
К первому добавить Disallow: /main/ и сойдет
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
21:31 Всем привет! 
20:37 Яндекс-ап 20 марта и похороны ChatGPT, Claude и Gemini. Считаем убытки 
14:06 Слипание слов в блоке 
14:02 APK на паузе. Google убивает быстрый конверт 
11:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
19:37 Xrumer-полезный софт или нет? 
17:26 AI под надзором. Минцифры готовят клеймо для контента 
23:14 E-currency.exchange — ваш помощник в мире обменов 
22:34 UltraXchina: Современный сервис обмена Alipay, USDT, Наличные 
17:33 Продам жирный аккаунт fl.ru 
17:25 Подключение к API слотов! Connecting to the slots API! 
14:10 Авито аккаунты ИП и физик 
13:34 AllCharge.online. Современный, быстрый и надёжный обменник 
13:14 TETChange-Обменник криптовалют 
21:02 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
17:45 молодильные яблоки и живая вода 
15:04 Сайты Рунета 
01:42 Точные прогнозы на футбол 
08:52 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
20:23 Панель Кнопки соцсетей 
14:03 Огородники