В интернете много написано как запретить через робот.тхт:

Disallow: /.../

Но также пишет что поисковые системы на это не очень смотрят и все равно сканируют содержимое папок. Мне же нужно чтобы это не происходило. Как это можно правильно сделать?

Зарание благодарен за ответ!