Посмотрите пожалуйста содержимое моего файла robots.txt сейчас сижу его разглядываю и понимаю что чего то я все равно забыл в него добавить, несмотря на то что делал его по нескольким разным описаниям.
| Код |
|---|
User-Agent: Googlebot
Allow: /
Disallow: /cgi-bin/
Disallow: /css/
Disallow: /js/
Sitemap: http://www.сайт.ru/sitemap.xml
User-agent: Yandex
Allow: /
Disallow: /cgi-bin/
Disallow: /css/
Disallow: /js/
User-Agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /css/
Disallow: /js/
Disallow: /search/tag/
|
Нужно ли для яндекса прописывать строку сайтмапа и такое вечатление что потерял директиву host но опять таки не знаю как лучше ее прописать
Подскажите кто знает, как все таки лучше оформить содержимое данного файла и если можно с пояснением (чтобы если у кого возникнет вопрос на эту тему, знал, что есть что)...
