Acho que não tem como se focar da mesma forma em mais de uma pessoa, então alguém meio que ficaria sobrando nessa poligamia. Se for fazer alguma burrada dessa é melhor fazer swing, que o estresse fica separado em dois casais, não concentrado em um grupo só.
Contudo minha opinião sobre isso é pessoal, não vi dado algum que fale sobre qualquer coisa do tipo, seria legal alguém levantar aqui. Não vou mudar de opinião pra como seria o meu caso, mas seria interessante algum defensor de poligamia/swing defender que isso melhore relacionamentos no médio a longo prazo.