Acho que depende muito. Achava matemática muito fácil no ensino fundamental e médio. São raros os conceitos que exigem um alto nível de interpretação e raciocínio lógico nas provas escolares.
Hoje faço engenharia em uma UF (UFG, pra ser mais exato) e, se eu quiser me sair bem, tenho que estudar muito para determinadas matérias. Sem contar que os cursos que possuem uma base matemática, os de exatas, por exemplo, são os cursos em que mais se encontra repetentes. Inclusive, alguns cursos de humanas também costumam possuir alguma matéria na área de exatas, como estatística, o que gera um grande número de repetentes e um pavor por parte dos estudantes.
Claro que, de um modo geral, existem diversos motivos que corroboram para que isso aconteça. Tem muitos professores do ensino superior que explicam mal, não possuem nenhuma didática. Além disso, se acham no direito de aplicar provas muito difíceis que vão muito além do que foi ministrado em aula, ou seja, se quiser ir bem e passar, tem que estudar por conta própria. Eu tenho amigos de universidades particulares e as provas deles nem se comparam com as que eu tenho.
No fim, dá pra complicar muito a matemática, afinal, ela exige praticamente todos os aspectos cognitivos, seja interpretação, lógica, compreensão, memória, abstração etc.