Я сделал как Алайч написал, то есть в конфиге там прописал что он сказал, но так как я жуткий параноик я ещё и роботс сделал, такой получился:
| Код |
|---|
User-agent: *
Allow: /uploads/posts/
Disallow: /rules.html
Disallow: /index.php*
Disallow: /index.php?*
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /page/
Disallow: */page/*
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /tags/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /2017/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Disallow: /engine/
Disallow: /js/
Disallow: /go.php
Host: Site.ru
Sitemap: <a href=\"http://site.ru/sitemap.xml\" target=\"_blank\">http://site.ru/sitemap.xml</a> |
Ну, это так, по школьному, некоторую часть этих строк я не понимаю)
Вроде не чего лишнего в индекс не лезет, а то что нужно всё в индексе, так что я считаю всё гуд)
P.S. Если мучаетесь с материалами за даты, то в конфиге по инструкции алаева напишите:
| Код |
|---|
//$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
|
Более подробно тут
http://alaev.info/blog/post/3900 у меня по крайней мере на страницах за года везде проставлен по исходному коду тег:
| Код |
|---|
<meta name="robots" content="noindex,nofollow" />
|
И в индекс эти страницы не лезут:)
