针对交通场景中多目标跟踪过程中实时性和鲁棒性的问题，提出一种基于混合高斯和稀疏光流的多目标自动跟踪算法。该算法利用自适应背景差分法提取前景目标，用特征点对目标进行表达，通过稀疏光流算法建立起前后帧间的数据关联，并通过模版更新机制来降低可能的较大形变带来的干扰。实验结果表明，该算法适用于多数交通场景，实时性较好，对光照和噪声都具有很强的鲁棒性，可以实现对多目标的准确而又稳定的跟踪。