Столкнулся с проблемой, которую раньше не замечал.
Допустим созданы несколько php файлов для программы добавления комментариев. они вынесены в отдельную папку
и загружены на сервер. Форма инклудится в страницу.
И главное - всю папку, ведущую обработку записи и вывода комментариев я закрываю в файле robots.txt.
В этом случае комментарии, которые хранятся в БД будут индексироваться поисковиком?
И второе. Если файлы heder.php и footer.php также вынести в отдельную папку, то нужно ее закрывать от
индексации?