Ela teve seus filhos de forma assexuada. Ou, como ela tem traços de coelho, ela pode ter uma tara por coelhos, então o pai de Hagoromo e Hamura pode ser algum coelho random/figurante. Algum predador deve ter o matado, ou alguma cobra comeu ele vivo...
Brincadeiras a parte, o mais provável é o Banbutsu Sozo mesmo. Não vejo, e nem consigo imaginar alguém dando uns pega na Kaguya, visto que naquela época todos a temiam apôs ela comer o fruto.
Não descarto a hipótese de algum príncipe ser o pai, já que ela é uma princesa. Mas, o mais provável de Hagoromo e Hamura ter nascido pela criação de todas as coisas(Banbutsu Sozo), muitos seres já foram criados assim, Bijus etc.