Год наверно не заглядывал гуглвебмастер, сегодня посмотрел, там полно сообщений с таким телом:

Цитата
domen.ru/: робот Googlebot не может получить доступ к вашему сайту 19 сентября 2012 г. Число ошибок за последние 24 ч. при попытке робота Googlebot получить доступ к файлу robots.txt: 1410. Чтобы исключить сканирование страниц, доступ к которым заблокирован в этом файле, сканирование было отложено. Частота возникновения ошибок при попытке доступа к файлу robots.txt на сайте: 100.0%.

Сайт работает не на апаче, и нет возможности положить файл в движок. Точнее есть, но оно все равно не будет доступен к публике, дизайн, контент формируется динамически. Можно ли просто создать страницу с УРЛом /robots.txt, то есть полный урл новой страницы будет domen.ru/robots.txt? И катит ли такое, вед откроется страница с шапкой сайта, подвалом и пустым телом. Или лучше сделать редирект в куда либо, что бы отдать файл на скачивание? И последний вопрос, что бы гугл успокоился, пойдет пустой robots.txt, или пару строк чего то надо написать? Мне особо не надо что либо запрещать индекцировать