robots.txt
Страницы: 1
robots.txt, подскажите
Всем привет, подскажите, насколько правильно использовать такой роботс на юкоз, опираясь лишь на яндекс

Host: сайт.ru
User-agent: *
Disallow:

может подскажите как лучше ?
Лучше уж вообще ни какой, чем такой!
Цитата
mozambik пишет:
Лучше уж вообще ни какой, чем такой!
Прокомментируйте пожалуйста.
действительно подскажите, хочу сайт делать, нашел подобный, в нем такой роботс, и при этому в день доходило до 8к с яндекса при 142 добавленных файла
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: vkino-teleke.ru/sitemap.xml
Sitemap: vkino-teleke.ru/sitemap-forum.xml
Sitemap: vkino-teleke.ru/sitemap-shop.xml
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: сайт.ru/sitemap.xml
Sitemap: сайт.ru/sitemap-forum.xml
Sitemap: сайт.ru/sitemap-shop.xml


это для яндекса и гугла
и Sitemap которого у вас нету то удалите.

Sitemap: сайт.ru/sitemap.xml-отвечает за содержимое сайта
Sitemap: сайт.ru/sitemap-forum.xml-отвечает за форум
Sitemap: сайт.ru/sitemap-shop.xml-отвечает за интернет магазин
Изменено: Павел - 8 Июля 2012 03:00
Цитата
Павел пишет:
это для яндекса и гугла
Не совсем так. Яндекс требует дополнительной секции. Корректный файл (для юкоза) выглядит так:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Sitemap: www.сайт.ru/sitemap.xml
Sitemap: www.сайт.ru/sitemap-forum.xml
Sitemap: www.сайт.ru/sitemap-shop.xml

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: www.сайт.ru
Цитата
Павел пишет:
и Sitemap которого у вас нету то удалите
Здесь все верно
так какой роботс ставить ?



Цитата
Павел пишет:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Sitemap: сайт.ru/sitemap.xml
Sitemap: сайт.ru/sitemap-forum.xml
Sitemap: сайт.ru/sitemap-shop.xml


это для яндекса и гугла

или этот ?




Цитата
Сергей Кононов пишет:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Sitemap: www.сайт.ru/sitemap.xml
Sitemap: www.сайт.ru/sitemap-forum.xml
Sitemap: www.сайт.ru/sitemap-shop.xml

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Host: www.сайт.ru

какой лучше ?
К первому добавить Disallow: /main/ и сойдет
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:23 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
13:16 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
08:26 Помогите! ОТКРЫЛАСЬ монетизация на ЮТЮБ! Но Как быть в 2024 с Adsense? 
08:23 Rotapost прикрыли! Чем пользоваться? 
17:53 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
17:34 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
17:06 TETChange-Обменник криптовалют 
14:45 TIGER SMS — Виртуальные номера для SMS-верификации (опт и розница) 
14:43 Onechange.me — надежный обменник криптовалют и фиатных средств 
14:03 Quix Email - сервис почтовых активаций 
13:54 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
13:34 Рассылки СМС/SMS, Вайбер/Viber, Ватсап/Whatsapp, Телеграм/Telegram любой тематики по всему миру 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь