Какой размер большинства файлов robots.txt?

Google поделился любопытной статистикой.

В частности, Гари Иллиес (Gary Illyes) оставил следующее сообщение в LinkedIn:

"Нашей поисковой системе известно о миллиардах файлов robots.txt. При этом лишь 7188 из них имеют размер в байтах, превышающий лимит обработки в 500 килобайт".

Как известно, Google может обработать не более 500 КБ файла robots.txt. И теперь становится очевидным, что 99,99% всех сайтов в Сети даже близко не используют такой объем. Иначе и быть не может, так как в большинстве случаев содержимое таких файлов ограничивается несколькими строчками текста.

А какой ваш идеальный robots.txt? По размеру и содержанию? Делитесь в комментариях.

13 Сентября 2023

Возврат к списку

Новые темы	Объявления	Свободное общение
01:51 Как получить трафик из Google Discover 20:31 Работает ли ссылочное продвижение 2019 – 2020? 20:12 Webvork - международная товарная СРА сеть с сертифицированными офферами на Европу. 19:14 LOSPOLLOS.COM - Конвертим по рецепту Хайзенберга. Dating, Mainstream, Binary Options 00:02 CPA-сеть MyLead - глобальная монетизация трафика! 21:57 Push.House - рекламная платформа PUSH уведомлений 20:40 Вопросы по продвижению на поддоменах	02:42 BetaTransfer касса — это надежный сервис приема платежей в сфере High Risk 23:34 ✅USMobileSMSBot - 22:34 Раскрутка сайта прогонами и поведенческими. Опыт с 2009 года - качественно на любой бюджет (NEW 2022 новостной прогон)! 17:26 Онлайн подработка до 5К (БЕЛАЯ) 17:10 рассылки viber и whatsapp 12:56 Высококачественные и надежные прокси-серверы и 5G 06:24 ProxyWins.com - 15% по промо-коду "venividivici"	16:58 Точные прогнозы на футбол 15:23 Ещё 12 заявлений в полицию о мошенничестве подано на блогера Аяза Шабутдинова 12:27 ИИ Google поставил под сомнение подлинность фотографий высадки астронавтов США на Луну 17:33 Стряхнуть обыденность - об Агасфере 00:03 Кабмин разрешил Роскомнадзору блокировать сайты с методами обхода блокировок 14:55 150+ хакерских поисковых систем и инструментов 23:03 С юмором по жизни!