Нужно ли запрещать теги в роботс.тхт в дле подскажите
Страницы: 1
Нужно ли запрещать теги в роботс.тхт в дле подскажите
создал вот такой вот роботс,заметил что страницы в поисковике дублируются и решил сменить роботс на такой вот

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin.php
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=search
Disallow: /index.php?do=pm
Disallow: /engine/
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /user/
Disallow: /language/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /index.php?subaction=newposts
Disallow: /newposts/
Disallow: /*print
Disallow: /*page/
Disallow: /templates/
Disallow: /tags/

Sitemap: http://site.ru/sitemap.xml

Host: site.ru
Сумашедший конверт наDownload трафике, без меток яши 100%
у меня так
User-agent: *
Disallow: /*print
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /languages/
Disallow: /engine/download.php
Disallow: /go/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /*userinfo
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: */rss.php
Disallow: /rss.xml
Disallow: /index.php?do=user
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=tags
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=lastnews
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /tags
Disallow: /page/
Disallow: */page/
Для того чтобы восторжествовало зло, нужно лишь одно — чтобы хорошие люди бездействовали.
вот на мой взгляд золотая середина
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: ***********sitemap.xml
Host: *******.рф
Изменено: Куликов - 11 Сентября 2011 18:58 (ффф)
Host: *******.рф <---- тут если домен РФ не в пуникоде надо вписывать?
Цитата
Куликов пишет:
Disallow: /newposts/
А зачем Disallow: /newposts/  
делать??
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:59 С чего сейчас проще начать? 
08:21 Продвижение-2022: Гугл все? Нет – Гугл не все! 
08:05 Гугл запустил Первый АПдейт года и серп уже трясёт - Google March 2026 Core Update 
18:58 Яндекс Нейро и выдача в 2026 - остались ли лазейки для маленьких сайтов? 
18:49 Биржи ссылок в 2026 - реально ли новичку с одним сайтом поднять копейку? 
13:09 Выбор CMS для первого блога в 2026 - реально ли новичку войти без кода? 
12:47 MAX попер в бурж: 40 стран, ведение каналов и горы дешевого трафика 
14:43 - Вечные ссылки с трастовых сайтов 2024 проверен FastTrust 
14:24 Создам под вашу нишу сетку сайтов-сателлитов для привлечения целевого трафика 
12:54 От $0.015 за IP | $0.68 за ГБ | 9PROXY.COM | 20+ млн резидентных прокси | 99,95% аптайм | Без чёрных списков 
11:13 Услуги постинга в социальные сети для продвижения, индексации и увеличения социальной активности 
09:40 Swapwatch.org — Мониторинг криптовалютных обменников 
08:45 swapsfera.com 
20:37 BestX24 - быстрый и безопасный обменник криптовалют и электронных денежных средств 
14:56 молодильные яблоки и живая вода 
14:54 8 марта: желаю аптайма 99.9% и e-e-a-t без локов 
14:41 Голландцы влепили Grok по яйцам - теперь нельзя раздевать реальных людей, штраф 100к евро в день 
06:50 Ставки на супер тренды в спорте 
13:04 Gartner обещал смерть SEO к 2026 году. Открываем метрику и проверяем 
18:49 Чак Норрис ушел - 19 марта 2026, 86 лет, семья подтвердила 
17:05 Огородники