Всем привет) Обращаюсь в первую очередь к Гуру в таких делах..)
Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com
Откуда она могла взятся и можна ли её удалить ? сайт на джумле
Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:
Цитата |
---|
User-agent: *
# Added by add_robots.sh Crawl-delay: 10 Request-rate: 1/10 |
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com
Откуда она могла взятся и можна ли её удалить ? сайт на джумле