[发明专利]面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法

说明书

本发明提及一种面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法，包括：提取运动目标前景集，根据提取出的前景运动目标集构建不包含前景集的缝合线搜索模型；根据两个摄像头之间的空间关系，由待融合图像重叠视野部分的中线求出目标图像重叠视野部分的中线，并由已知的转换矩阵求出最终映射；在中线两侧分别计算缝合线，根据预设的能量函数计算出各自的最佳解，计算出最终的最佳缝合线；基于可学习稀疏卷积神经网络构建线性融合模型，采用线性融合模型对两幅待融合图像进行融合。本发明能够实现更好的融合效果，不易出现鬼影和割裂，尤其是前景中存在运动物体时，本发明缝合线可以避开运动物体进而使融合效果更佳。

技术领域

本发明属于计算机视觉和深度学习技术领域，尤其涉及一种面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法。

背景技术

图像拼接研究重点根据应用场景的不同有所不同，如多焦距图像融合、多曝光图像融合、可见光图像与红外图像融合等。各种图像融合方法效果也不同。图像融合部分的重影、割裂、亮暗变化等会影响用户的体验，尤其是在VR监控等对融合效果要求较高的场景。

传统的图像融合算法在进行静态图像融合时效果较好，但在进行含有运动物体的图像融合时极易产生鬼影和重影，使图像融合结果不清晰。加权融合方法计算简单但效果较差；金字塔融合首先将图像分解道不同的频带空间，然后各自融合，实现了不同数据的细节与特征的融合但计算复杂，对实时性要求较高的系统不适用。传统的最佳缝合线算法可以有效的防止缝合线两侧物的产生割裂，融合效果较好。但当拍摄设备时钟不同步时仍会出现重影。例如，传统最佳缝合线算法搜索得出的最优解穿过运动物体时仍会出现运动物体割裂的现象，当融合图像色彩亮度差异较大时也会出现明显的亮暗差异。

发明内容

解决的技术问题：针对以上技术问题，本发明提出了一种面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法，基于时空关系对最佳缝合线方法进行改进，与传统的图像融合方法相比较，本发明所提出的方法融合效果更好，不易出现鬼影和割裂，尤其是前景中存在运动物体时，本发明缝合线可以避开运动物体进而使融合效果更佳。当待融合图像亮度差距过大时，本方法也可以很好的融合亮度，缩小亮度差异。在监控场景中比传统算法效果好，有较高的实用性和广阅的应用前景。

技术方案：。

一种面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法，所述图像融合方法包括以下步骤：

S1、采用基于Vibe的背景消减法进行运动目标前景集的提取，根据提取出的前景运动目标集构建不包含前景集的缝合线搜索模型；

S2、根据两个摄像头之间的空间关系，由待融合图像重叠视野部分的中线求出目标图像重叠视野部分的中线，并由已知的转换矩阵求出最终映射；

S3、在中线两侧分别计算缝合线，根据预设的能量函数计算出各自的最佳解，计算出最终的最佳缝合线；

S4、采用线性融合算法对最佳缝合线两侧的图像进行拼接；基于可学习稀疏卷积神经网络构建亮度校正模型，该亮度校正模型结合源图像待拼接部分A、目的图像待拼接部分B和经过最佳缝合线拼接的最终图像的已拼接部分C，对已完成拼接的图像进行亮度校正。

进一步地，步骤S1中，采用基于Vibe的背景消减法进行运动目标前景集的提取，根据提取出的前景运动目标集构建不包含前景集的缝合线搜索模型的过程包括以下步骤：

采用背景消减法找到前景运动目标并匹配成功后，分别得到两幅包含运动目标的掩码图I₁、I₂，将两幅图像中构成运动物体的像素点集称为前景集，利用前景集中的像素对缝合线的搜索模型进行约束，提取出的前景集分别表示为：

G₁＝{p₁，p₂，p₃…p_N}