针对复杂场景中传统单一手工特征表达能力不足,以及模型更新过程中由于误差累积导致模型退化问题,提出了基于相关滤波融合卷积残差学习的目标跟踪算法。将融合了多特征的相关滤波算法定义为神经网络中的一层,将特征提取、响应图生成、模型更新整合到端到端的神经网络中进行模型训练;为解决在线更新过程中模型退化问题,引入残差学习方式引导模型更新。在基准数据集OTB-2013和OTB-2015上的实验结果表明,本文算法能够有效应对复杂场景中运动模糊、形变和光照等变化,具备较高跟踪精度与鲁棒性。