Eu tenho duas teorias para isso: a primeira é que esse Genjutsu Kokuangyo no Jutsu embora impeça a visão, não impede por exemplo a capacidade de detectar o chakra ou perceber o chakra. Então, mesmo sendo vítima desse Genjutsu, o usuário do Byakugan ainda poderia ver através do Genjutsu localizando o usuário do Genjutsu pelo chakra, ou seja, detectando e percebendo o chakra do usuário, vendo por exemplo a silhueta do sistema circulatório de chakra do usuário do Genjutsu e assim localizando a pessoa que usa o Genjutsu.
E a minha segunda teoria se baseia na capacidade do Byakugan de perceber quando um genjutsu está sendo usado ou está em uso graças a sua capacidade de ver o fluxo de chakra com grande detalhe, isso iria permitir com q o usuário do Byakugan perceba que seu fluxo de Chakra está instável, percebendo as leves flutuações no sistema circulatório de Chakra, e com isso percebendo q está sob a influência de um Genjutsu, essa habilidade do Byakugan já foi mostrada no mangá de Naruto, nos capítulos capítulo 459, página 15 e 394, página 15 tbm.
Então resumidamente: ou o usuário do Byakugan teria sua visão limitada pelo Genjutsu, porém graças a sua capacidade de detectar o chakra, ainda poderia localizar o chakra do usuário do Genjutsu, vendo através do Genjutsu com isso. Ou o usuário do Byakugan graças a sua habilidade de ver o fluxo de chakra de forma mais detalhada que o Sharingan, poderia então perceber q seu fluxo de chakra está instável e confuso, indicando assim a influência de um Genjutsu.
Agora, se o usuário do Byakugan vai ser capaz de sair de tal Genjutsu eu já acho bem improvável, pela fato dele ser campal e se renovar instantaneamente, como o Genjutsu da Ostra do Segundo Mizukage que se espalha através da Névoa. É como se fosse uma emissão contínua de Chakra, então não adianta sair, pois a vítima vai cair de novo nele. A não ser é claro que o usuário do Byakugan derrote o usuário do Genjutsu, já que ainda assim, uma vez que o usuário do genjutsu é incapacitado/derrotado, a ilusão é desfeita e a vítima é capaz de voltar a enxergar normalmente.