为了提高基于双目视觉中立体匹配在弱纹理场景下的精准性,提出了一种基于注意力机制特征提取的三维重建算法。利用卷积神经网络(CNN)训练左右图像的特征表示,计算出立体匹配的匹配代价。在CNN特征提取阶段,加入图像注意力机制模块和通道注意力机制模块,得到特征图各个像素点之间的联系,使网络可以更好地捕获图像上下文信息,进而在重建过程中能够更加精确地重建出弱纹理区域。对于网络损失函数,集成了语义编码损失,最终将损失函数定义为语义编码损失和重建损失的加权和,有效提升了弱纹理区域下的重建精度。使用KITTI和

对于基于深度学习的立体匹配而言,模型的网络结构对算法精度的影响很大,而算法运行效率也是实际应用中需要考虑的重要因素。提出一种在视差维度上使用稀疏损失体进行立体匹配的方法。采用宽步长平移右视角特征图构建稀疏的三维损失体,使三维卷积模块所需的显存和计算资源均降低数倍。采用多类别输出的方式对匹配损失在视差维度上进行非线性上采样,并结合两种损失函数训练模型,在保证运行效率的同时提高算法精度。在KITTI测试集上,与基准算法相比,所提算法不仅提高了精度,而且运行时间缩短了约40%。

大部分基于卷积神经网络的双目立体匹配算法往往将双目图像对的像素级别特征作为匹配代价进行计算,缺乏将全局特征信息结合到立体匹配算法的能力,导致不适定区域(如弱纹理区域、反光表面、细长结构、视差不连续区域等)的匹配精度差,进而影响整体立体匹配精度。针对这个问题,提出一种基于多维特征融合(MDFF)的立体匹配算法,该算法主要由三个模块组成:残差开端(Inception-ResNet)模块、空间金字塔池化(SPP)模块和堆叠沙漏网络(SHN)模块。Inception-ResNet模块主要提取图像对局部特