Google о типах контента в Robots.txt

Оказывается, поисковик благосклонно относится к разным типам контента, представленного в файле Robots.txt.

Это следует из недавней переписки с представителем поиска в Твиттере. Один сеошник поинтересовался у Джона Мюллера (John Mueller):

"У меня к вам один актуальный вопрос: мне всегда казалось, что в Robots.txt приветствуется лишь один тип контента – обычный текст (TEXT/PLAIN), а не текст плюс HTML. Однако в последнее время при проверке этого файла на корректность я вижу, что конфликта из-за подобных комбинаций (TEXT/HTML) нет. Правда ли это?"

Ответ эксперта поисковой системы:

"По моему мнению, в этом документе может использоваться любой тип контента. Важно понимать, что ключевое – не тип, а сам контент".

К слову, создать корректный Robots.txt можно при помощи нашего инструмента.

2 Июня 2020
Комментарии: 1

Возврат к списку

Комментарии пользователей:

Eye 2 Июня 2020
Кто, как и зачем засовывает в robots HTML?

Новые темы	Объявления	Свободное общение
10:06 Google прямо сказал "генерик больше не нужен" + в комментах уже разнос: у кого реально упал трафик 21:25 Есть ли альтернатива Адсенсу и РСЯ? 15:18 В Яндексе позиции держатся, а трафик проседает - стало заметно сильнее 15:05 Заказал "положить сайт" а положили тебя? Полиция добралась до клиентов DDoS-сервисов 15:02 сео тренды 2026 - что щас вообще работает? 15:01 АП Яндекса 24-го + Google штормит выдачу (23 апреля). У кого уже поехало? 14:58 ИКС Яндекс АПдейт 1 апреля 2026. Обновлён алгоритм расчёта	11:37 Мониторинг обменников Сrypto-scout.io 09:44 Продам SEO домен fishponds.ru 09:22 Продам: Флудер телефонов. Спамер телефонов. Массовые звонки на телефон 08:53 Monitex: Мониторинг с кэшбэком 80% в USDT 08:01 Продажа аккаунтов HH.RU вериф 20:52 Продам обменник криптовалюты, а также новый обменник под ключ с обучением. Скидки на скрипты обменника 18:08 CactusPay.PRO \| Умная платёжная система с выводом в USDT TRC-20	09:22 Осторожно! Криптовалюта 03:42 Точные прогнозы на футбол 21:29 Клещи 21:27 С юмором по жизни! 14:00 Заработок на загрузочном сайте в 2026? 17:33 Какой фильм посмотреть сегодня вечером? 20:26 37 противникам прививок от COVID грозят уголовные дела