Неизвестная директива
Страницы: 1
Неизвестная директива, Помогите разобраться
Всем привет) Обращаюсь в первую очередь к Гуру в таких делах..)

Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:

Цитата
User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com

Откуда она могла взятся и можна ли её удалить ? сайт на джумле
Простой и доступный заработок на своих талантах без копейки вложений.

Бесплатная контекстная реклама

Я конечно же не гуру но

Crawl-delay: 10

это интервал в секундах для паузы чтоб ПС не перегружала хост
Страницы: 1
Похожие темы:
  24.09.2016 07:33  Директива Host в robots
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
16:50 AffiliateCube 3.0 - усовершенствованная платформа 
16:19 Cityads.ru - PPA-партнёрка - до 800$ на 1000 переходов! 
16:12 Текстовый апдейт: 28 февраля 
15:07 Падение позиций и новый регион в ЯК: Россия 
14:01 Шаблон для кулинарного сайта 
12:49 Индексация обратных ссылок на свой сайт в системе Yandex 
12:35 Adsense личный опыт 
16:35 Я новичек помогие оцените мой сайт 
15:36 Продвижение в соц. сетях: ВК, Одноклассники, Instagram, Twitter, Facebook, YouTube 
15:29 SEO продвижение сайтов 2017 
15:28 Продвижение в социальных сетях: Вконтакте, Одноклассники, Твиттер, Instagram, YOUTUBE, Facebook, Мой мир. 
15:25 Продам сайт 50 уников 
15:13 Обмен / Покупка отзывов в Google+ 
14:21 Крауд ссылки по 120 руб. для ваших проектов 
16:28 Партнерка от Megagroup.ru - до 30% с продажи (в марте 2017 - 60%) 
15:50 Реально ли вложить 1к USD в сайт и получать минимум 10 баксов в сутки с адсенс? 
15:31 CPA Life 2017 – 12 Апреля в Санкт-Петербурге 
14:39 2domains совсем обнаглели. Куда свалить? 
14:01 Отзывы о SpeedStudio 
11:26 Система рейтинга и отзывов на ВП движок 
11:16 В Испании разрабатывают секс-кинотеатры с роботами и виртуальной реальностью