提出一种在双目视觉的条件下，利用光流金字塔跟踪算法跟踪关节点，以解决传统光流不能进行大幅度运动跟踪的问题，并利用极线约束进行三维重建获得深度信息，结合对消失关节点的位置预测求出相应的三维坐标，再利用层次化的描述方法将三维坐标转化为三维模型中各个关节点的旋转角度，实现对人体运动的模型描述。实验结果表明，该算法能有效地对人体的运动进行描述。