Что-то эта задача не очень похожа на те, которые обычно дают на acm.sgu.ru и подобных сайтах.
А вообще, все что нужно чтобы написать такую программу изложено в любой книжке по OpenGL или DirectX, например
здесь. (Ну и плюс возможно понадобится книжка по линейной алгебре).