| Цитата |
|---|
| Андрей Ода пишет:
подскажите можно-ли убрать это с robots.txt |
да можно, но не нужно. В смысле надо делать трошки хитрее.
Точнее и проще будет воспользоваться будет моим robosts.txt. Только вместо своего хоста напишу суперсайт.орг
| Код |
|---|
User-agent: * Disallow: /*print Disallow: /*textversion Disallow: /*comment Disallow: /autobackup.php Disallow: /user/ Disallow: /cache/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates Disallow: /backup/ Disallow: /favorites/ Disallow: /?do=register Disallow: /index.php Disallow: /statistics.html Disallow: /?do=pm Disallow: /?do=stats Disallow: /?do=search Disallow: /?do=addnews Disallow: /?do=lastcomments Disallow: /?do=feedback Disallow: /?action=mobile Disallow: /?do=lostpassword Disallow: /?subaction=newposts Disallow: /*?subaction=userinfo&user Allow: / Sitemap: http://суперсайт.орг/sitemap.xml Host: суперсайт.орг |
Так вот он у меня работает без изменений несколько месяцев, последнее изменение было удаление: Disallow: /forum/
И пусть вас не смущает: Disallow: /index.php
Я так сделал от того что получается что есть две главные страницы http;//суперсайт.орг и http;//суперсайт.орг/index.php. Не знаю плохо ли это, но после этого дубля главной страницы не будет
Allow: / дает понять что все остальное (что не запререщено) можно.
