Нужно ли запрещать теги в роботс.тхт в дле подскажите
Страницы: 1
Нужно ли запрещать теги в роботс.тхт в дле подскажите
создал вот такой вот роботс,заметил что страницы в поисковике дублируются и решил сменить роботс на такой вот

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin.php
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=search
Disallow: /index.php?do=pm
Disallow: /engine/
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /user/
Disallow: /language/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /index.php?subaction=newposts
Disallow: /newposts/
Disallow: /*print
Disallow: /*page/
Disallow: /templates/
Disallow: /tags/

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
Сумашедший конверт наDownload трафике, без меток яши 100%
у меня так
User-agent: *
Disallow: /*print
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /languages/
Disallow: /engine/download.php
Disallow: /go/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /*userinfo
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: */rss.php
Disallow: /rss.xml
Disallow: /index.php?do=user
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=tags
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=lastnews
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /tags
Disallow: /page/
Disallow: */page/
Для того чтобы восторжествовало зло, нужно лишь одно — чтобы хорошие люди бездействовали.
вот на мой взгляд золотая середина
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: ***********sitemap.xml
Host: *******.рф
Изменено: Куликов - 11 Сентября 2011 18:58 (ффф)
Host: *******.рф <---- тут если домен РФ не в пуникоде надо вписывать?
Цитата
Куликов пишет:
Disallow: /newposts/
А зачем Disallow: /newposts/  
делать??
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:04 LGaming - экосистема и партнерская программа в gambling и betting вертикалях 
11:48 Google - шантажист, а Cloudflare - не спаситель. Как не отлететь в бан 
11:47 Старые кости или свежее мясо? Как нагнуть старичка в серпе за один год 
11:45 10.02 Яндекс штормит, а Google лезет в долги: 15 миллиардов на железки для ИИ 
20:18 ЕС душит ТикТок: прощай бесконечная лента и RPM? Что с монетизацией? 
20:14 Гугл пухнет от кеша, а нам - крошки. Разбор $114 млрд: Адсенс в минусе, Ютуб на подписках 
20:11 01.02. Апдейт 31.01 // Chrome готовит "чёрную метку" для ИИ? 
04:08 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 
02:11 Crypto Mixer ↔ Bitcoin Mixer ↔ Cryptocurrency tumbler ↔ No-AML 
20:15 Nexulume.com Обменник без AML и KYC 
17:47 Продажа аккаунтов HH.RU 
17:06 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
16:53 Мобильные и Резидентные Прокси Для Соц Сетей | 3 Гб Бесплатно 
12:59 Mixmasters - Exchange without AML and KYC 
01:00 Точные прогнозы на футбол 
21:50 Кулеры и БП станут золотыми? Медь по 13 штук, олово в космосе 
21:25 блокировка youtube 2026: ркн начинает «выдавливание». кто уже пробовал вк видео? 
20:54 Туалетные секреты: Замурчательная тема 
17:44 [AI] Бот за $600к советовал есть сыр с крысами. Нью-Йорк его (наконец-то) снес 
15:24 Сайты Рунета 
15:22 Moltbook: Соцсеть для ботов, где людям закрыли рот. Началось?