А что эта строка делает Allow: / ?

Спасибо, буду так юзать )

По хорошему Allow вообще не нужно использовать. Достаточно указать Disallow без условий. Это будет читаться как "запретить - ничего" или по русски "разрешить все", то есть - открыть сайт для индексации. Это должна быть самая первая инструкция. После которой уже начинаем перечислять все остальное.

В итоге должны получить следующее:

User-agent: *
Disallow:
Dissalow: /profile
Dissalow: /profile/
Dissalow: /login
Dissalow: /login/

... все папки, которые хотим запретить

Dissalow: /hi.php
Dissalow: /send.php
... все файлы, которые хотим запретить

Host: site.ru

То есть сперва мы сказали, что блок ниже относится для всех роботов, затем "запретили ничего", затем запретили папки, затем запретили файлы.
Нюансы: папки рекомендую прописывать дважды - со слэшем на конце и без.
Директиву Host - знает только Яндекс - ее лучше вынести в отдельный блок, только для Яндекса.
Хотя, я ее никогда не использую, потому как 301 редирект на одно из зеркал (с www или без) на мой взгляд на много правильнее. И точно на 100% работает и никакого "клея" у вас никогда не будет.