Неизвестная директива
Страницы: 1
Неизвестная директива, Помогите разобраться
Всем привет) Обращаюсь в первую очередь к Гуру в таких делах..)

Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:

Цитата
User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com

Откуда она могла взятся и можна ли её удалить ? сайт на джумле
Простой и доступный заработок на своих талантах без копейки вложений.

Бесплатная контекстная реклама

Я конечно же не гуру но

Crawl-delay: 10

это интервал в секундах для паузы чтоб ПС не перегружала хост
Страницы: 1
Похожие темы:
  24.09.2016 07:33  Директива Host в robots
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
13:41 Помогите с выбором шаблона 
13:35 10 июля текстовый апдейт Яндекса: выложен индекс по 6 июля 
13:28 24 июля текстовый апдейт Яндекса: индекс по 21 июля 
12:41 Подтверждение в AdSense 
12:29 Сайт резко упал в Google за последнюю неделю 
11:20 Внешние переходы с iframe-toloka.com - как с ними бороться? 
11:04 внедрить код в страницу WordPress 
13:23 Продаю постовые на сайте развлекательной тематики 
12:42 Вывод в ТОП Google. 30 вечных ссылок с PR9 
12:05 Ищем SEO Удаленно Full-time 
11:33 Копирайтинг, Рерайтинг, СЕО - от 80/1000 
07:42 Рассылка сообщений на стены групп Вконтакте , Одноклассники по любым критериям. 
07:40 Автоматический постинг Вконтакте 
02:28 Комплексная раскрутка сайтов. Качественные услуги, прогоны и прочее. (3000+ отзывов) 
13:46 Велотренажёр дома? 
13:43 Всё о крипто-валюте 
13:35 Поднять позиции в Google 
08:24 Наши машинки 
02:27 Как заменить в БД теги заголовков 
22:44 Спам (приглашения) в ВК 
21:24 Помогите найти программу или плагин на браузер для копирования текста с защищенной от копирования сайтов