Eu também notei isso, só não comentei porque achei que todos já sabiam. Mas foi uma boa observação.
Creio que este clã Hagaromo, era um dos melhores daquela epóca, e com certeza foi um dos fundadores de Kumo.
Porém devemos lembrar o que já foi citado pelo mangá. A primeira Vila shinobi foi Konoha, as demais vilas (Suna, Kiri, Kumo e Iwa), gostaram do modelo criado pelos Senjus e Uchihas e fundaram com outros clãs, suas aldeias.
O que ficou claro é que, o clã Hagoromo era um dos melhores, enquando o clã Uchiha não era tão forte, pelo menos na infância de Madara, para eles terem que se aliar ao clã Hagoromo, quando ao clã Senju, não sei se eram fortes ou fracos.
É claro que quando Hashirama virou Líder dos Senjus, e Madara Líder dos Uchihas, o abismo do clã Senju e Uchiha em relação aos outros clãs eram gigantescos.
Konoha foi formado por Uchihas e Senjus inicialmente, mas aos poucos, foram vindo outros clãs e tornaram o que Konoha é hoje.