De certeza, imagino que apenas Shanks e Rayleigh sabem da existência do IM.
Shanks porque esteve diretamente em Mariejoa falando tranquilamente com o Gourosei. Shanks entrou normalmente em Mariejoa e se dirigiu tranquilamente ao palácio do Gorosei e ainda entrou na sala deles tranquilamente. Depois disso, bateu um papo cabeça com o Gourosei e foi embora pacficamente, mesmo sendo um pirata. Pra Shanks ter toda essa liberdade e essa moral, imagino q ele conhece ou sabe da existência do IM.
Rayleigh porque esteve em Laftel com Roger, viu o One Piece e conheceu os segredos do século perdido e a história do mundo até agora.
Imagino que Barba Branca tbm sabia, pois Roger lhe contou tudo o que viu em Laftel e ainda lhe explicou a origem e o significado dos "D".
Certamente, todos aqueles que estiverem com Roger em Laftel devem saber da existência do IM-SAMA.
Acredito q Doflamingo apenas suspeita, mas não tem certeza.