Какой размер большинства файлов robots.txt?

Google поделился любопытной статистикой.

В частности, Гари Иллиес (Gary Illyes) оставил следующее сообщение в LinkedIn:

"Нашей поисковой системе известно о миллиардах файлов robots.txt. При этом лишь 7188 из них имеют размер в байтах, превышающий лимит обработки в 500 килобайт".

Как известно, Google может обработать не более 500 КБ файла robots.txt. И теперь становится очевидным, что 99,99% всех сайтов в Сети даже близко не используют такой объем. Иначе и быть не может, так как в большинстве случаев содержимое таких файлов ограничивается несколькими строчками текста.

А какой ваш идеальный robots.txt? По размеру и содержанию? Делитесь в комментариях.

13 Сентября 2023

Возврат к списку

Новые темы	Объявления	Свободное общение
23:11 Как раскрутить сайт? 19:21 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 19:01 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:59 Profit Pixels - In-House Форекс, Крипто, Трейдинг CPA Офферы \| Еженедельные Выплаты \| CPA до $950 13:14 2Index - быстрая индексация страниц сайта и обратных ссылок 14:59 Партнерская программа OWNR WALLET 14:41 SharkBoss - партнёрская программа для монетизации ЛЮБЫХ видов трафика (включая спам).	23:01 Партнёрка для вебмастеров 20:47 EasyBusy.bz Проводи обмены легко и быстро вместе с нами 19:17 Johnny.Do \| Обмен криптовалют с круглосуточной техподдержкой 18:13 Ural-obmen.ru — выгодный сервис обмена 16:48 Obama.ru - безопасный обмен криптовалют и электронных денежных средств 15:52 Продам аккаунты HH.RU 15:24 Мобильные и Резидентные Прокси Для Соц Сетей \| 3 Гб Бесплатно	04:23 Точные прогнозы на футбол 17:34 С юмором по жизни! 08:11 Добро пожаловать в цифровой мир... 20:36 Ням-ням! - 8 деликатесов, которые когда-то ели только бедные люди 09:45 Подтягиваем физкультурку 15:02 Замедление скорости YouTube будет происходить по естественным причинам 09:47 Китайцы создали себе национальный Linux, напичканный ИИ-функциями