Неизвестная директива
Страницы: 1
Неизвестная директива, Помогите разобраться
Всем привет) Обращаюсь в первую очередь к Гуру в таких делах..)

Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:

Цитата
User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com

Откуда она могла взятся и можна ли её удалить ? сайт на джумле
Простой и доступный заработок на своих талантах без копейки вложений.
Я конечно же не гуру но

Crawl-delay: 10

это интервал в секундах для паузы чтоб ПС не перегружала хост
Страницы: 1
Похожие темы:
Читают тему (гостей: 1, пользователей: 0, из них скрытых: 0)
Новые темыОбъявленияСвободное общение
10:53 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам). 
08:36 Обновления интерфейса яндекс метрики 
18:34 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 
15:35 Влияние ссылок буржнете 
15:13 Рапида умерла. Куда выводить с AdSense? 
15:05 Чем заменили ТИЦ? 
15:01 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы | Еженедельные Выплаты | CPA до $950 
12:05 USMobileSMSBot - 
11:16 4G/LTE Mobile Proxy 30+ geo  
15:34 «Взрываем языковые преграды» – переводим любые тексты 
15:31 Доходные сайты под бурж 
15:06 Вечные ссылки с ТОПОВЫХ ресурсов! Размещение вечных трастовых ссылок с тИЦ от + 1000 до +45000 
14:20 Куплю аккаунт Habr.com 
13:31 Платим за реги на форумах и досках, дорого. 
11:10 150+ хакерских поисковых систем и инструментов 
11:08 В России снизили беспошлинный порог для онлайн-покупок 
11:01 Суд постановил заблокировать Telegram 
02:58 Точные прогнозы на футбол 
22:05 Курс доллара упал ниже 85 рублей 
19:31 Таксистам из "Яндекс Go" стало очень выгодно занижать рейтинг всем пассажирам 
13:37 Тренды заработка 2024-2025