Цитата
Niklan пишет: Элементарно создайте Цитата user-agent: * allow: / sitemap: site.ru/sitemap.xml

Создал и загрузил,это поможет точно ?
Спасибо за помощь

Цитата
WoR пишет: а что именно не очень ?

Ну я на него зашёл и захотел сразу выйти, не ясно о чём сайт, блоки плохо "расставлены" и т.д.

Это да, сайт не очень. Но все же сайтмап и роботс нужен.
Поищите под свою CMS уже готовые решения. Будет лучше чем я описал. Явно есть вещи которые индексировать нельзя а роботы начнут, это тоже лучше не сделает.

Цитата
Master95 пишет: Параметра allow не существует! Если нет файл robots.txt, значит, весь сайт разрешен для индексации. Robots.txt может только запрещать(!), для этого есть параметр Disallow.

хз, поэтому и порекомендовал поискать под CMS

Такой роботс предлагают под Instant CMS что у автора:

Цитата

User-Agent: * Disallow: /admin Disallow: /actions Disallow: /cache Disallow: /backups Disallow: /core Disallow: /dump Disallow: /wysiwyg Disallow: /includes Disallow: /modules Disallow: /filters Disallow: /languages Disallow: /install Disallow: /goto Disallow: /? Disallow: /users Disallow: /registration Disallow: /login Disallow: /search/tag Disallow: /comments Disallow: /novosti.html Disallow: /photos.html Disallow: /stati.html Disallow: /blogs.html Disallow: /clubs.html Disallow: /board.html Disallow: /users.html Disallow: /faq.html sitemap: http://site.ru/sitemap.xml Host: site.ru

Вроде выглядит правильно, а так хз, нужно уже знать систему чтобы утверждать что все верно. Нашел на офф сайте.

Цитата
Niklan пишет: Такой роботс предлагают под Instant CMS что у автора: Цитата User-Agent: * Disallow: /admin и тд и тп Вроде выглядит правильно, а так хз, нужно уже знать систему чтобы утверждать что все верно. Нашел на офф сайте.

Этим роботсом откроете админку. Вот роботс:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /search/tag
sitemap: http://site.ru/sitemap.xml
Host: site.ru

У меня этот роботс уже полтора года - в индексе все, что требуется. Если Вы недавно начали использовать инстант, будьте готовы много работать, эту сыромятину нужно руками много доводить. В том числе и роботс - я стал закрывать Disallow: /board.html, когда пошел наплыв спамеров.

Цитата
igoryanzx1 пишет: наверно не совсем логично прописывать путь к карте, которой не существует.

отличный повод создать.

В общем я карту сайта создал,правильно она выглядит ?