| Цитата |
|---|
SynyAlex пишет:
так правильней
| Код |
|---|
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /*page/
Disallow: /*print
Disallow: /addnews.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /engine/ajax/
Disallow: /*?*
Disallow: /admin |
|
Не хочу никого оскорблять, но так неправильный.
А вообще, надо знать какие настройки сайта и цели веб-мастера, и от этого отталкиваться составляя роботс.текст.
И еще, существует более правильный способ закрытия от индексации страниц сайта, и при таком раскладе сам роботс.текст будет менее забит запретами и все правильно будет работать.
