Доброго дня! Прошу помочь в составлении robots.txt на свой блог. После установки плагина
XML Sitemap & Google News feeds сверстал нечто подобное (добавлял нужное/ убирал лишнее)
.
| Код |
|---|
# XML Sitemap & Google News Feeds version 4.3.2 - http://status301.net/wordpress-plugins/xml-sitemap-feed/
Sitemap: http://fpatrol.ru/sitemap.xml
Sitemap: http://fpatrol.ru/sitemap-news.xml
User-agent: *
Disallow: /wp-admin/
Disallow: */xmlrpc.php
Disallow: */wp-*.php
Disallow: */trackback/
Disallow: *?wptheme=
Disallow: *?replytocom
Disallow: */comment-page-
Disallow: *?s=
Disallow: /webstat/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: */downloads
Allow: */wp-content/uploads/
User-agent: Yandex
Disallow: /wp-admin/
Disallow: */xmlrpc.php
Disallow: */wp-*.php
Disallow: */trackback/
Disallow: *?wptheme=
Disallow: *?replytocom
Disallow: */comment-page-
Disallow: *?s=
Disallow: /webstat/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: */downloads
Allow: */wp-content/uploads/
Host: fpatrol.ru |
Интересует строка, которую я убрал
| Код |
|---|
Disallow: /wp-content/ |
Я так понимаю, что она закрывает весь уникальный контент сайта. Убрал также
Комментарии, наверное, пригодятся...
Может что лишнее прописано или наоборот не хватает для закрытия от поисковиков. Прошу подсказать.
