Помогите написать robot.txt

Сообщений: 97 Регистрация: Фев 2013

22 Мая 2013 19:24

Всем привет! Ну не умею я писать этот робот! smile:mad:

Смысл в том, что мне нужно закрыть от индексации для всех роботов следующие разделы:

Www.site.ru/oblast/ - все области
www.site.ru/photos/ -все фотос
www.site.ru/realtytype/ все реалтайпы
www.site.ru/rooms/ все румсы
Www.site.ru/operation/ все операции
Www.site.ru/node/add/ все адд
Www.site.ru/taxonomy/term/19/0
Www.site.ru/taxonomy/term/22/0

В данный момент robot.txt выглядит так:

User-agent: YandexBot
Disallow: /*id=

User-agent: Mediapartners-Google*
Allow: /

Кто сделает, того отблагодарю -100 руб на кошелек, только не сегодня, а завтра перечислю.

GLK

Сообщений: 1443 Регистрация: Мар 2013

22 Мая 2013 19:32

User-agent: *
Disallow: /*id=
Disallow: /oblast/
Disallow: /photos/
Disallow: /realtytype/
Disallow: /rooms/
Disallow: /operation/
Disallow: /node/add/
Disallow: /taxonomy/term/19/0
Disallow: /taxonomy/term/22/0

Host: твой_сайт.ru или www.твой_сайт.ru
Sitemap: http://твой_сайт.ru/sitemap.xml

Замени на это и не парься

User-agent: YandexBot
Disallow: /*id=

User-agent: Mediapartners-Google*
Allow: /

Изменено: GLK - 22 Мая 2013 19:34

Лучшая программа для проверки позиций сайта (15 дней теста бесплатно)

Сайт с онлайн трансляциями, плеерами и видео, Практика рабочая тема Яндекс

Сергей Сергеевич

Сообщений: 97 Регистрация: Фев 2013

22 Мая 2013 19:34

И все?

Цитата
GLK пишет: User-agent: * Disallow: /id= Disallow: /oblast/ Disallow: /photos/ Disallow: /realtytype/ Disallow: /rooms/ Disallow: /operation/ Disallow: /node/add/ Disallow: /taxonomy/term/19/0 Disallow: /taxonomy/term/22/0 Замени на это и не парься User-agent: YandexBot Disallow: /id= User-agent: Mediapartners-Google* Allow: /

GLK

Сообщений: 1443 Регистрация: Мар 2013

22 Мая 2013 19:37

Да, только я изменил чуть, чуть посмотри
Кстати сайт на Юкоз? если да то не все

Изменено: GLK - 22 Мая 2013 19:38

GLK Сообщений: 1443 Регистрация: Мар 2013	#5 22 Мая 2013 19:42 Потерто Изменено: GLK - 22 Мая 2013 19:43

Новые темы	Объявления	Свободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 21:20 Rotapost прикрыли! Чем пользоваться? 00:23 Раскрутка форума	13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 12:46 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно 12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 10:46 Linken Sphere – браузер-антидетект нового поколения 05:06 CoinCapital 04:28 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка	13:08 Бесплатный майнинг Tether (USDT) 10:29 С юмором по жизни! 16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 20:43 Добро пожаловать в цифровой мир... 15:59 Про мясо 23:09 ПП от PMS remote.team - 200$ за команду 13:28 Компьютерная мышь

Новые темы

Объявления

Свободное общение

22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика!
21:20 Rotapost прикрыли! Чем пользоваться?
00:23 Раскрутка форума

13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик]
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру)
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно
12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML
10:46 Linken Sphere – браузер-антидетект нового поколения
05:06 CoinCapital
04:28 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка

13:08 Бесплатный майнинг Tether (USDT)
10:29 С юмором по жизни!
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру
20:43 Добро пожаловать в цифровой мир...
15:59 Про мясо
23:09 ПП от PMS remote.team - 200$ за команду
13:28 Компьютерная мышь

14.04.2024 15:49	Помогите, пожалуйста, с htaccess
22.06.2022 16:57	Помогите разобраться с виджетом ЕМИАС
05.08.2020 18:11	Помогите с продвижением
06.05.2020 13:43	Помогите узнать источник видео
21.06.2019 20:37	Добавление товаров на Simpla помогите советом! HELP