É dificil corroborar ou contrapor essa afirmação... não sabemos muito bem o poder dele.
Outro dos fatores a ter em conta é a personalidade dele... poderia não querer desafiar o Barba Branca por uma questão de respeito ou por não querer "magoar" a sua tripulação.
Face a tantos rumores do poder dele... até existiria algum sentido se ele fosse "perto de imortal". Outra questão é: Se não tem AnM (caso contrário devia falecer caso caisse no mar) como é tão forte? Tendo AnM, porque não se atira sucessivamente ao mar?
Acredito que... ou Oda está a tentar enganar os leitores com um rumor falso, o que não é muito comum, ou ele de facto tem um modo inteligente de suportar os rumores. Eu imaginaria uma fruta que por exemplo estivesse intimamente relacionada com terminações nervosas. Pode inventar um sistema no qual o seu corpo reaja de forma instintiva e até adquira propriedades que não vimos até agora em One Piece, por exemplo: Quando colocamos a mão num fogão retiramo-la imediatamente, mesmo sem pensar em tal. Ele pode ter uma fruta que simule o efeito, quando o corpo caí para a àgua "endurece" e fá-lo correr ou algo do género com "poderes superhumanos".
Também há uma boa discussão sobre aquela tal operação da imortalidade que a Ope Ope pode realizar, e rumores de uma AnM relacionada com "um demónio" ou um dragão...
Pessoalmente... acho que é mais provável os rumores serem verdadeiros, visto que o acabamos de ver a se atirar de uma ilha no ceú para depois sobreviver. De resto.. há espaço para muito especulação.