A grande maioria dos anarquistas e dos libertários defendem que TUDO o que não for uma agressão direta deve ser permitido.
Não, diga-me aonde tirou esse absurdo? A base é muito simples: Não interferir na vida alheia (a não ser para punição de injustiças), ponto final. O que a maioria defende pouco importa. Maiorias são estúpidas, maiorias colocaram Dilma no poder, maiorias colocaram Hitler no poder. O que importa é a teoria: Não se pode proibir uma pessoa de fazer algo que não fará mal a outrem. Princípios como auto-propriedade são axiomas totalmente irrefutáveis. Toda posição ética, para ser racionalmente defensável, precisa ser justificada por argumentos; Toda argumentação requer que os interlocutores respeitem cada um o corpo de outro e demanda que cada participante usufrua de controle exclusivo sobre o recurso de seu próprio corpo. Qualquer um que tente contestar o direito de propriedade sobre seu próprio corpo seria preso em uma contradição prática, uma vez que o próprio ato de argumentar já implicaria a aceitação da própria norma que ele está contestando. A negação do direito de auto-propriedade é portanto racionalmente indefensável.
(isso pode ser visto em qualquer site/livro de pensadores anarquistas).
O que pode acontecer é eles discordarem de você no caso das drogas, pois não creem que as drogas afetem outras pessoas, eu também discordo de você e tenho meus próprios argumentos antidrogas. Mas diga-me os autores que, segundo você, defendem algumas agressões indiretas (considerando que não é fato nenhum as drogas serem uma agressão indireta, apenas sua opinião).
Sobre funcionar ou não (e comparar com comunismo) não faz sentido, a ética libertária é teoricamente irrefutável diferente do comunismo que foi refutado teoricamente por ludwig von mises (um dos maiores ícones do libertarianismo :D ) e refutado na prática com alguns milhões mortos de fome e outros milhões pelos próprios lideres comunistas...
Dizer que não haveria ninguém para punir num mundo sem Estado, é como dizer que sem o Estado para dar-nos de comer, morreríamos de fome.