Какой размер большинства файлов robots.txt?

Google поделился любопытной статистикой.

В частности, Гари Иллиес (Gary Illyes) оставил следующее сообщение в LinkedIn:

"Нашей поисковой системе известно о миллиардах файлов robots.txt. При этом лишь 7188 из них имеют размер в байтах, превышающий лимит обработки в 500 килобайт".

Как известно, Google может обработать не более 500 КБ файла robots.txt. И теперь становится очевидным, что 99,99% всех сайтов в Сети даже близко не используют такой объем. Иначе и быть не может, так как в большинстве случаев содержимое таких файлов ограничивается несколькими строчками текста.

А какой ваш идеальный robots.txt? По размеру и содержанию? Делитесь в комментариях.

13 Сентября 2023

Возврат к списку

Новые темы	Объявления	Свободное общение
07:53 Бесплатные посещения 20:17 Dao.AD: Монетизация и покупка Push/Pops/Inpage и Video трафика! 15:01 Adtrafico - Правильная партнёрская сеть под бурж трафик 18:41 Продвижение заграницей 22:36 Стоит ли добавлять сайт в Rambler топ 100? 16:34 Работает ли ссылочное продвижение 2019 – 2020? 16:22 Adsense личный опыт	05:30 Просто $0.04/IP 9PROXY.COM Резидентные прокси Неограниченная пропускная способность Уникальная политика замены Без чёрного списка 19:14 Продам аккаунты Gmail USA IP \| Gmail MIX IP \| Outlook Old 16:42 Sectormoney.com - быстрый и удобный обменник 14:34 CoinCapital 12:59 Чек номеров на наличие Telegram/ Filter (checking) numbers Telegram 01:09 лиды, Forex, криптовалюта, гэмблинг, чарджбэк, лидогенерация 19:27 Volna.money	05:42 Точные прогнозы на футбол 21:04 Есть ли альтернатива Адсенсу и РСЯ? 22:39 Кому выплата РСЯ пришла и какого числа? 12:12 Linux - это максимальная свобода 20:09 Сколько сейчас стоит наполнение ИМ? 12:43 Куплю проигрышные букмекерские аккаунты 04:33 Половина скидок на распродажах — фейк