Запретить весь сайт для индексации всеми роботами

Код
User-agent: * Disallow: /

Разрешить всем роботам индексировать весь сайт

Код
User-agent: * Disallow:

Или можете просто создать пустой файл «/robots.txt».
Закрыть от индексации только несколько каталогов

Код
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /private/

Запретить индексацию сайта только для одного робота

Код
User-agent: BadBot Disallow: /

Разрешить индексацию сайта одному роботу и запретить всем остальным

Код
User-agent: Yandex Disallow:

Запретить к индексации все файлы кроме одного

Код
User-agent: * Disallow: /

Запретить к индексации все файлы кроме одного

Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:

Код
User-agent: * Disallow: /docs/

Либо вы можете запретить все запрещенные к индексации файлы:

Код
User-agent: * Disallow: /private.html Disallow: /foo.html Disallow: /bar.html