Собственно столкнулся с тем что при попытке проверить практически любой поддомен в вебмастере на анализ robots.txt ( вот тут  http://webmaster.yandex.ru/robots.xml  ) -  вылазит ошибка -  "не удалось загрузить файл robots.txt".Это у меня одного так или так должно быть или глюк яндекса какой? Причем домены ( а не поддомены проверяются нормально )
И кто подскажет каким образом можно проверить не заблокировал ли хостер яндекс ботов на хостинге и при блокировке этих ботов грузился бы robots.txt ? Просто ради эксперимента решил сделать мобильную версию сайта с помощью услуги Gomobi а там какой о стремный иностранный хостинг походу. И если яндекс не будет читать роботс ткст то у моего основного сайта появится копия причем не склеенная и думаю ничего от этого хорошего ждать не следует.
Вот пример такого мобильного домена   go.mobi   - на самом сайте robots.txt есть и спокойно просматривается, а в яндекс вебмастере при проверке вот что пишет :

Анализ robots.txt

Не удалось загрузить robots.txt.

Кто объяснит почему не грузится этот robots.txt сайта go.mobi из яндекс вебмастера ?