Помогите написать robot.txt
Страницы: 1
Помогите написать robot.txt
Всем привет! Ну не умею я писать этот робот!smile:mad: Смысл в том, что мне нужно закрыть от индексации для всех роботов следующие разделы:

Www.site.ru/oblast/ - все области
www.site.ru/photos/  -все фотос
www.site.ru/realtytype/ все реалтайпы
www.site.ru/rooms/ все румсы
Www.site.ru/operation/ все операции
Www.site.ru/node/add/ все адд
Www.site.ru/taxonomy/term/19/0
Www.site.ru/taxonomy/term/22/0

В данный момент robot.txt выглядит так:



User-agent: YandexBot 
Disallow: /*id=

User-agent: Mediapartners-Google*
Allow: /


Кто сделает, того отблагодарю -100 руб на кошелек, только не сегодня, а завтра перечислю.
User-agent: *
Disallow: /*id=
Disallow:  /oblast/
Disallow:  /photos/ 
Disallow:  /realtytype/
Disallow:  /rooms/
Disallow:  /operation/
Disallow:  /node/add/
Disallow:  /taxonomy/term/19/0 
Disallow:  /taxonomy/term/22/0 

Host: твой_сайт.ru или www.твой_сайт.ru
Sitemap: http://твой_сайт.ru/sitemap.xml



Замени на это и не парься

User-agent: YandexBot  
Disallow: /*id= 

User-agent: Mediapartners-Google* 
Allow: /
Изменено: GLK - 22 Мая 2013 19:34
И все?
Цитата
GLK пишет:
User-agent: *
Disallow: /*id=
Disallow: /oblast/
Disallow: /photos/
Disallow: /realtytype/
Disallow: /rooms/
Disallow: /operation/
Disallow: /node/add/
Disallow: /taxonomy/term/19/0
Disallow: /taxonomy/term/22/0

Замени на это и не парься

User-agent: YandexBot
Disallow: /*id=

User-agent: Mediapartners-Google*
Allow: /
Да, только я изменил чуть, чуть посмотри
Кстати сайт на Юкоз? если да то не все
Изменено: GLK - 22 Мая 2013 19:38
Потерто
Изменено: GLK - 22 Мая 2013 19:43
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
22:27 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 
12:39 2Index - быстрая индексация страниц сайта и обратных ссылок 
06:17 3snet - гемблинг, беттинг, форекс, бинарные опционы, майнинг 
11:46 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
23:10 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 
21:20 Rotapost прикрыли! Чем пользоваться? 
00:23 Раскрутка форума 
13:38 BIGPROXY.SHOP - Резидентные Ротационные Backconnect Proxy USA EUROPA MIX [Безлимитный трафик] 
13:16 PonyBit.ru - обменный пункт PonyBit.ru (Понибит.ру) 
12:46 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
12:12 CryptoGraph — Анонимный обмен криптовалют без KYC и AML 
10:46 Linken Sphere – браузер-антидетект нового поколения 
05:06 CoinCapital  
04:28 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
13:08 Бесплатный майнинг Tether (USDT) 
10:29 С юмором по жизни! 
16:49 monetizer.agency – рекламная сеть для взрослого и развлекательного трафика. 100$ новому вебмастеру 
20:43 Добро пожаловать в цифровой мир... 
15:59 Про мясо 
23:09 ПП от PMS remote.team - 200$ за команду 
13:28 Компьютерная мышь