In addition to what shabunc said, you can try something like this
Эта задача не для средних умов
this expression marks task or text requiring good education and sharp wits
Над этой задачей придется хорошенько поломать голову
pretty self-explanatory, about very complicated tasks requiring much intellectual work to complete.
Эта задача не для слабых духом (вариант: сердцем)
this expression marks task or text, requiring great effort of some sort.
in colloquial speech some other idioms are used, as noted earlier без пол-литра не разберешься
or это просто вынос мозга
(adultyouth slang).