Привет всем!
Имеется блог на wordpress. Замечаю что robots.txt не хочет работать. т.е. например у меня запрещено поисковым роботам индексировать что либо, смотрите ниже:
User-agent: Googlebot
Disallow: */feed/
Disallow: */feed
Ну в поиск гугл все равно индексируются данный тип страниц.... и постраничная навигация и трэкбеки, и всяко разно... незнаю как быть. Подскажите знатоки что не так?
Ниже код робота с моего блога.
Имеется блог на wordpress. Замечаю что robots.txt не хочет работать. т.е. например у меня запрещено поисковым роботам индексировать что либо, смотрите ниже:
User-agent: Googlebot
Disallow: */feed/
Disallow: */feed
Ну в поиск гугл все равно индексируются данный тип страниц.... и постраничная навигация и трэкбеки, и всяко разно... незнаю как быть. Подскажите знатоки что не так?
Ниже код робота с моего блога.
| Код |
|---|
User-agent: Mediapartners-Google Disallow: User-agent: Yandex Disallow: /uvedomlenie Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /search Disallow: */trackback Disallow: */feed/ Disallow: */feed Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Disallow: /?wp-subscription-manager* Disallow: */comment Disallow: */attachment/* Disallow: */page/* Disallow: */plagiat Allow: /wp-content/uploads/ Host: host.ru User-agent: Googlebot Disallow: /uvedomlenie Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /search Disallow: */trackback Disallow: */feed/ Disallow: */feed Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Disallow: /?wp-subscription-manager* Disallow: */comment Disallow: */attachment/* Disallow: */page/* Disallow: */plagiat Allow: /wp-content/uploads/ User-agent: * Disallow: /uvedomlenie Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /search Disallow: */trackback Disallow: */feed/ Disallow: */feed Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Disallow: /?wp-subscription-manager* Disallow: */comment Disallow: */attachment/* Disallow: */page/* Disallow: */plagiat Allow: /wp-content/uploads/ Disallow: /?dl_id=* Disallow: /metki/* Sitemap: host.ru/sitemap.xml |
