Неизвестная директива
Страницы: 1
Неизвестная директива, Помогите разобраться
Всем привет) Обращаюсь в первую очередь к Гуру в таких делах..)

Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:

Цитата
User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com

Откуда она могла взятся и можна ли её удалить ? сайт на джумле
Простой и доступный заработок на своих талантах без копейки вложений.

Прогон по твиттеру, постинг в 1500 аккунтов
Постинг в твиттер аккаунты, для ускорения индексации ваших сайтов, сателлитов, дорвеев.

Я конечно же не гуру но

Crawl-delay: 10

это интервал в секундах для паузы чтоб ПС не перегружала хост
Страницы: 1
Похожие темы:
  24.09.2016 07:33  Директива Host в robots
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
12:29 Выдача Яндекс. Стремятся ребята к качественной выдаче. Как это понимать? 
12:26 Adsense личный опыт 
12:07 Выбор названия для блога 
12:00 Логотип некорректно отображается 
11:41 Вопрос к тем, кто переходил на https с Вордпрессом 
10:07 как обогнать конкурента и olx 
09:40 Апдейт яндекс 24.01.2017 
12:24 Парсинг сайтов с поиска 
12:12 Качественное, массовое размещение объявлений на досках. 
11:55 wmsell.biz- Обмен Киви на Биткоин QIWI - BTC-e [автоматический обмен 24/7] 
11:55 xmlToIrrp генератор для подачи объявлений на irr.ru через личный кабинет 
11:18 Помогите оценить домены с большим тицем 
11:06 Приблизительная стоимость сайта 
10:59 Раскрутка в соц.сетях - Instagram, Twitter, Periscope 
12:44 Посоветуйте, как использовать паблик на 32к человек 
11:54 Эксперимент принесет ли сайт созданный на основе англоязычного сайта переведенный яндексом 
11:49 Актуально для новичков! Как продвинуть сайт в интернете бесплатно! 20 простых способов. 
11:32 Биржи контента какую выбрать для копирайта и почему? 
10:26 Посещаемость Rutracker сократилась вдвое за год блокировки 
10:21 В России разблокируют популярный порносайт YouPorn 
09:52 Почему 98% текстов на ваших сайтах не работают. Вообще. И как это починить