[发明专利]基于重构映射一致的无监督密集匹配方法及系统

说明书

本发明属于密集匹配技术领域，涉及一种基于重构映射一致的无监督密集匹配方法及系统，构建密集匹配网络，利用无监督损失函数作为目标约束函数来学习输入图像到视差图的映射，其中，无监督损失函数包含重构映射一致性损失函数、平滑损失函数及左右一致性损失函数；收集场景样本数据，并将场景样本数据划分为训练样本和测试样本；利用训练样本对密集匹配网络进行预训练，并利用测试样本对预训练后的网络进行测试优化；利用测试优化后的密集匹配网络进行目标场景数据的密集匹配。本发明利用重构映射一致损失并结合平滑和左右一致损失作为无监督目标约束函数，提升网络模型训练收敛速度及精度，使用于密集匹配网络更加稳定，保证密集匹配效果和质量。

技术领域

本发明属于密集匹配技术领域，特别涉及一种基于重构映射一致的无监督密集匹配方法及系统。

背景技术

随着人工智能的发展，基于深度学习的有监督密集匹配方法在虚拟、室内以及驾驶等近景数据集上取得了不错的表现。深度学习方法在特征自动提取上具有传统方法无可比拟的优势。随着硬件技术的发展和深度学习理论的完善，这种方法在密集匹配上的潜力逐步显现。M-CNN在密集匹配过程中采用了深度学习方法提取特征，利用卷积神经网络提取到了更为稳健的特征，替代了传统的测度匹配和相关系数匹配等特征提取方法，取得了不错的效果，同时为密集匹配端到端网络的出现奠定了基础；端到端的密集匹配网络以光流预测网络FlowNet为基础，在改进其上采样模块后，应用于密集匹配网络。虽然其在KITTI数据集上的排名并不是当时最靠前的，但为后面其他端到端的网络提供了思路。考虑到DispNet视差图缺乏多尺度信息，且网络不包含视差精化模块，iResNet在DispNet基础上增加了多尺度信息，并采用贝叶斯网络精化视差，进一步提升了匹配精度。这个阶段的网络仍以类似“U-Net”的通用密集匹配网络结构为基础，通过大量的参数拟合密集匹配过程。另一方面，GCNet借鉴传统密集匹配思想，开创了密集匹配专用网络的分支，其基本流程为：特征提取、匹配代价构建、视差计算以及视差软回归四个步骤。该网络的主要贡献包括：①引入了残差块，进一步深挖特征；②首次提出深度学习匹配代价构建和视差计算网络结构；③引入视差软回归(soft argmax)，将分类问题变为回归问题，以较小的参数代价取得了不错的效果。随后，PSMNet针对GCNet网络缺乏多尺度信息的问题，利用空洞卷积、金字塔池化(spatial pyramid pooling，SPP)以及堆叠沙漏等多种方式引入全局信息，进一步提升匹配的效果。随后的大多数网络均以PSMNet为原型进行改进；GwcNet在借鉴DispNet的左右特征图相关特征的基础上，提出了分组相关网络，并验证了特征相关信息在密集匹配中的有效性，进一步提升了匹配精度；之后的AcfNet针对密集匹配中的匹配歧义问题，提出了单峰网络在视差软回归过程中，视差概率值应呈现单峰特性。最终通过追加子网络提供单峰信息实现精度提升；而深度剪枝网络针对密集匹配过程中，内存和计算量过大的问题，通过粗匹配方式预估视差的上下限，在保证一定精度的条件下，极大地减少计算时间和内存的消耗。虽然深度学习密集匹配的监督方法在精度已经远超传统方法，但其所需的密集匹配标签数据集获取代价仍是高昂的。

此外，Scene Flow通过虚拟方式从3D投影到2D，虽然标签数据精度极高，但虚拟图像特征与真实图像特征可能存在一定差距；KITTI数据集虽然图像为真实场景，且视差图采用较为精准的激光雷达数据，但获取成本高昂，并且可能存在一定粗差，需要人工进行剔除。此外，激光雷达生成的标签数据为半稠密状，仅有约1/3的点存在真值，在距离较远的天空等区域没有标签数据；而在遥感等领域，标签数据获取、制作困难，流程复杂，且目前没有标准化的商业方法。因此，深度学习监督训练方法的实用化受限于标签数据的获取和制作。相比于监督方法，无监督方法不依赖数据标签，更贴近实用，是发展的必然趋势。无监督方法重点研究损失函数，通过设定目标损失函数来训练网络，以替代标签数据。深度学习无监督的开端可追溯到图像重构损失函数，使网络可以进行端到端的无监督训练，随着重构损失可导这项关键技术突破，深度学习密集匹配无监督方法迎来了极大发展；在重构损失的基础上，引出共视域的概念，将遮挡区域和边缘非重叠区域掩膜掉，从而达到了提升精度的效果。从目前的实验结果来看，无监督方法密集匹配精度与监督方法相比，仍有较大的差距。

发明内容