Неизвестная директива
Страницы: 1
Неизвестная директива, Помогите разобраться
Всем привет) Обращаюсь в первую очередь к Гуру в таких делах..)

Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:

Цитата
User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com

Откуда она могла взятся и можна ли её удалить ? сайт на джумле

Бесплатная контекстная реклама

Я конечно же не гуру но

Crawl-delay: 10

это интервал в секундах для паузы чтоб ПС не перегружала хост
Страницы: 1
Похожие темы:
  24.09.2016 07:33  Директива Host в robots
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
05:32 Zoomclick.ru - предлагаем 1,5 рубля/ клик за операторский трафик. 
04:47 Апдейт Яндекса 07.12.2016 
00:16 Движок Web-Sat CMS. Как добавить шапку на главную страницу ? 
23:34 Нужно ли делать редирект с HTTP на HTTPS? 
22:52 Интересует мнение профессионалов по сайту 
22:52 Биржи ссылок живы? ( ггл, мира, пр.сапа 2016-2017 ) 
22:25 Неправильный Роботс.тхт 
06:35 OkSender – программа для продвижения в социальной сети Одноклассники. 
06:32 Услуги по рассылки спама Вконтакте 
02:38 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (2000+ отзывов) 
02:38 Продам хороший, доходный сайт с ТИЦ 40 
01:24 Продам домены РУС 
01:03 Требуется накрутить подписчиков на Google+ 
00:51 Меняю WM на ЯД 
01:52 Внимание КИДАЛЫ (ccc.mn) 
23:32 Дом 2 закрывают! Отличная новость! 
22:52 В бизнес приглашается специалисты, контракт, удаленно 
22:41 ЭВРИКА! Стань быстрее и сильнее! Одержи победу над конкурентом! 
21:32 Бесплатно 1 000 просмотров Youtube c удержанием аудитории 70-100% 
20:26 Профессиональная настройка кампании в Яндекс Директ | Web-context.biz 
19:45 Опрос: родители проводят в два раза больше времени онлайн, чем их дети