Bom, o Kakuzu virou um desertor depois de ter sido tratado mal pela sua vila, devido ao fracasso dele na missão de matar o Shodaime.
Ele ficou vagando mundo a fora, e sendo um Ninja patife que se aliava a várias organizações criminosas, ele em algum momento deve ter se aliado aos Irmãos que eram dois criminosos muito famosos daquela época.
Em alguma "missão", o Kakuzu deve ter testemunhado isso que ele disse.
Mas também é provável que eles tenham se enfrentado em batalha, e o Kakuzu tenha presenciado a transformação do Kinkaku após a derrota do seu brother.
Mas considerando a personalidade do Kakuzu e dos Irmãos, eu não descarto que eles tivessem sido parceiros.
O próprio Orochimaru fez parceria com vários Ninjas e desertores de outras vilas, tanto que recrutou vários deles para o seu time.