O próprio Manga responde isso. As pessoas não confiavam em Danzou na vila, tanto que quando ele assumiu temporariamente como Hokage ele teve que apontar as falhas da Tsunade e Hiruzen para que os conselheiros passassem por cima das desconfianças com a Anbu Ne e colocasse ele no poder embora ele ainda tivesse que passar pela aprovação dos Jounins, foi o mesmo na reunião dos Kages quando ele quase foi eleito líder da aliança, quando ele colocou seu Genjutsu sobre o Mifume e o fez apontar as falhas de Kage cadê ali e se colocou como a opção mais viável, embora o fato dele não ter sido questionado pelo Mifume levantou a suspeita do Ao.
Agora no caso da Tsunade é ainda pior, pois ninguém iria engolir ela dizer do nada que desistia do cargo de Hokage e logo depois indicar o Danzou, a Shizune seria a primeira a desconfiar do comportamento da Tsunade sabendo que ela nunca faria algo assim especialmente para um homem que ela não confia, então é óbvio que as pessoas que convivem com a Tsunade iriam checar e ver se ela não estava sob a influência de um Genjutsu o quê só iria piorar a situação do Danzou que seria visto como um traidor.
E matar os conselheiros estava fora de questão, além de ter a suspeita óbvia que ele foi responsável pela morte dos velhinhos, estes mesmos eram os maiores apoiadores do Danzou a indicação do cargo(como aconteceu), Danzou não tinha poder militar para tomar Konoha pela força, ele precisou ser paciente.
