Помогите написать robot.txt

Сообщений: 97 Регистрация: Фев 2013

22 Мая 2013 19:24

Всем привет! Ну не умею я писать этот робот! smile:mad:

Смысл в том, что мне нужно закрыть от индексации для всех роботов следующие разделы:

Www.site.ru/oblast/ - все области
www.site.ru/photos/ -все фотос
www.site.ru/realtytype/ все реалтайпы
www.site.ru/rooms/ все румсы
Www.site.ru/operation/ все операции
Www.site.ru/node/add/ все адд
Www.site.ru/taxonomy/term/19/0
Www.site.ru/taxonomy/term/22/0

В данный момент robot.txt выглядит так:

User-agent: YandexBot
Disallow: /*id=

User-agent: Mediapartners-Google*
Allow: /

Кто сделает, того отблагодарю -100 руб на кошелек, только не сегодня, а завтра перечислю.

GLK

Сообщений: 1443 Регистрация: Мар 2013

22 Мая 2013 19:32

User-agent: *
Disallow: /*id=
Disallow: /oblast/
Disallow: /photos/
Disallow: /realtytype/
Disallow: /rooms/
Disallow: /operation/
Disallow: /node/add/
Disallow: /taxonomy/term/19/0
Disallow: /taxonomy/term/22/0

Host: твой_сайт.ru или www.твой_сайт.ru
Sitemap: http://твой_сайт.ru/sitemap.xml

Замени на это и не парься

User-agent: YandexBot
Disallow: /*id=

User-agent: Mediapartners-Google*
Allow: /

Изменено: GLK - 22 Мая 2013 19:34

Лучшая программа для проверки позиций сайта (15 дней теста бесплатно)

Сайт с онлайн трансляциями, плеерами и видео, Практика рабочая тема Яндекс

Сергей Сергеевич

Сообщений: 97 Регистрация: Фев 2013

22 Мая 2013 19:34

И все?

Цитата
GLK пишет: User-agent: * Disallow: /id= Disallow: /oblast/ Disallow: /photos/ Disallow: /realtytype/ Disallow: /rooms/ Disallow: /operation/ Disallow: /node/add/ Disallow: /taxonomy/term/19/0 Disallow: /taxonomy/term/22/0 Замени на это и не парься User-agent: YandexBot Disallow: /id= User-agent: Mediapartners-Google* Allow: /

GLK

Сообщений: 1443 Регистрация: Мар 2013

22 Мая 2013 19:37

Да, только я изменил чуть, чуть посмотри
Кстати сайт на Юкоз? если да то не все

Изменено: GLK - 22 Мая 2013 19:38

GLK Сообщений: 1443 Регистрация: Мар 2013	#5 22 Мая 2013 19:42 Потерто Изменено: GLK - 22 Мая 2013 19:43

Новые темы	Объявления	Свободное общение
13:26 Как безопасно купить Гугл почту? 11:17 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 11:12 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 11:05 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу 09:46 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров 01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо?	08:58 Мониторинг обменников Сrypto-scout.io 04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 02:31 Профессиональный и грамотный дизайн от DesignCash 18:27 Nexulume.com Обменник без AML и KYC 15:45 Mixmasters - Exchange without AML and KYC 10:22 Swapwatch.org — Мониторинг криптовалютных обменников 10:19 SwapPix.io - быстрый и безопасный обменник криптовалют.	14:26 Туалетные секреты: Замурчательная тема 13:31 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи 10:52 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 08:50 Гильотина для классиков: Клод доедает физические книги 05:10 Точные прогнозы на футбол 18:34 Ставки на супер тренды в спорте 11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?

Новые темы

Объявления

Свободное общение

13:26 Как безопасно купить Гугл почту?
11:17 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией?
11:12 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках
11:05 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ?
10:59 WB и Ozon - новые "русские поисковики"? Яндекс теряет коммерческую выдачу
09:46 OpenAI и шейхи: Цензура на продажу и "гибкие" идеалы амеров
01:09 Yahoo Scout: Нейро-привет из склепа. Реальный шанс на траф или мимо?

08:58 Мониторинг обменников Сrypto-scout.io
04:09 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка
02:31 Профессиональный и грамотный дизайн от DesignCash
18:27 Nexulume.com Обменник без AML и KYC
15:45 Mixmasters - Exchange without AML and KYC
10:22 Swapwatch.org — Мониторинг криптовалютных обменников
10:19 SwapPix.io - быстрый и безопасный обменник криптовалют.

14:26 Туалетные секреты: Замурчательная тема
13:31 FIFA и Assassin’s Creed воруют пароли: В репаки зашили лютый стиллер. Чекаем логи
10:52 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе
08:50 Гильотина для классиков: Клод доедает физические книги
05:10 Точные прогнозы на футбол
18:34 Ставки на супер тренды в спорте
11:10 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP