O Jiraiya nem sempre foi tão poderoso e experiente, e desde que ele só chegou perto da morte duas vezes antes daquela ocasião, o inimigo devia, no máximo, se equiparar com sua forma normal, aí ele entrou no Modo Sennin e o superou, provavelmente vencendo a batalha sem grandes dificuldades, o inimigo não precisaria ser tão forte quanto Pain para forçá-lo a usar o Modo Sennin, tão forte quanto Jiraiya era é o suficiente. Fora a possibilidade mais provável ao meu ver: "random", restam duas opções: Orochimaru e Hanzou.
Sabemos que Jiraiya enfrentou o Orochimaru quando este fugiu de Konoha e, aparentemente, não conseguiu pará-lo. Mesmo assim, acho essa possibilidade muito baixa, justamente porque Jiraiya não venceu e eles parecem estar nivelados em suas formas comuns.
A outra é mais plausível e se encaixa quase perfeitamente na situação. E, a propósito, devo dizer que Hanzou é mais um caso de "randoms poderosos mal explorados", assim como Sakumo Hatake e os Irmãos Ouro e Prata. Se eu não soubesse que Hanzou havia enfrentado os Sannins de igual para igual, jamais diria que ele seria capaz de tal feito me baseando na batalha que ele teve com o Mifune (que, por sinal, era uma das melhores pessoas para enfrentá-lo). Da mesma forma, eu jamais diria que Kinkaku e Ginkaku mataram o Tobirama se eu não soubesse de tal fato. O que acontece nessas situações é que Kishimoto, ou não inventou as habilidades dele, ou simplesmente não fez bom uso de tais... Hanzou não podia usar Ninjutsus, Mifune era resistente a veneno, tinha conhecimento das habilidades dele, Ginkaku não usou o poder da Kyuubi, Kinkaku mal usou o Bashousen, etc., ainda bem que o pai do Kakashi nem foi revivido, pois teria sido nesse nível de aproveitamento também. Kishimoto só fez bom uso dos Hokages mesmo...
Os Sannins eram mais jovens quando enfrentaram o Hanzou, mas definitivamente não eram novatos. Eles muito provavelmente já estavam quase no auge de suas forças. Era Orochimaru sem Edo Tensei, Tsunade sem Souzou Saisei e Jiraiya sem Rasengan. Quem mais evoluiu foi o Orochimaru, o resto deve ter ganhado uma coisinha ou outra e simplesmente aprimorado as habilidades que já possuía. Sem falar que o título de Sannin reflete a força que eles tinham quando enfrentaram Hanzou, não necessariamente após aquilo, eles são temidos e adorados por terem sido as únicas pessoas que sobreviveram lutando contra o Hanzou, um título que supera ser membro do Clã Uchiha (conhecido como o mais poderoso de Konoha e, por extensão, do mundo) e dos 7 Espadachins da Névoa (que tem uma fama nivelada com a do Kakashi). Derrotar 3 ninjas que
nivelam com Kakashi é coisa para Might Duy usando 8 Portões, derrotar/bater de frente com 3 ninjas que
superam o Kakashi é feito digno de lendário. O próprio Jiraiya, mesmo depois de todos anos que se passaram, ainda acreditava que ninguém podia derrotar Hanzou num 1x1, incluindo a si próprio (ele provavelmente foi para Amegakure pensando que teria de enfrentar o Hanzou e meio que sabia que não voltaria vivo).
Existe sim a possibilidade de Hanzou ter sido derrotado por Pain mais facilmente do que o Jiraiya, uma vez que foi citado que o Hanzou ficou desleixado e ele poderia não ser tão forte quanto Pain, visto que Tsunade não conseguia imaginar alguém forte o suficiente para liderar caras fortes como Itachi, Kisame, Kakuzu, etc. Mas não dá pra saber como foi a luta, a única cena que vimos é o Hanzou já derrotado praticamente, essa:
Uma cena muito similar, caso não soubéssemos nada sobre a batalha de Jiraiya x Pain, seria a seguinte:
Em ambos casos, tudo que estaríamos vendo é o Pain passando o ar de "invencível" e seu inimigo prestes a ser derrotado.
Ademais, poderia ter sido somente mais uma frase aleatória, para exaltar o poder do Pain.