针对手势跟踪的有效性和鲁棒性问题，提出了一种结合手势检测与TLD（Tracking Learning Detecting）跟踪的手势跟踪方法。首先利用Haar特征与Adaboost算法对静态手势进行快速检测，然后对手势区域进行定位，最后使用TLD算法对定位的手势区域进行跟踪以获取动态手势轨迹。实验结果表明，该方法可以实现对变形手势快速、准确的跟踪，对部分遮挡有很好的适应性，具有较高的鲁棒性和实时性。