提出了一种基于深度学习的红外与可见光决策级融合跟踪方法。通过建立参数传递模型，从现有基于深度学习的检测模型中抽取指定对象的可见光检测模型，作为红外检测的预训练模型，在采集的红外图像数据集上进行微调训练，得到基于深度学习的红外检测模型。在此基础上，建立了基于深度学习的红外与可见光决策级融合跟踪模型，进行了单波段跟踪与双波段融合跟踪对比实验。结果表明，所提方法跟踪精度和成功率比单波段跟踪均有所提升，具有较好的稳健性。