Уважаемые, вот возник вопрос такой , у кого еще Гугл не учитывает при индексации сайта файл Robots.txt ?, У меня в Robots написан запрет
Disallow: /user/
Но почему то юзеры есть в поиске , как быть ? что менять?
Файл Robots.txt прикрепляю :
Disallow: /user/
Но почему то юзеры есть в поиске , как быть ? что менять?
Файл Robots.txt прикрепляю :
| Код |
|---|
User-agent: Yandex Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /grab.php Host: treyd.org Sitemap: http://treyd.org/sitemap.xml User-agent: * Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /grab.php Sitemap: <a href=\"http://treyd.org/sitemap.xml\" target=\"_blank\">http://treyd.org/sitemap.xml</a> |
