[发明专利]面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法

权利要求书

1.一种面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法，其特征在于，所述图像融合方法包括以下步骤：

S1、采用基于Vibe的背景消减法进行运动目标前景集的提取，根据提取出的前景运动目标集构建不包含前景集的缝合线搜索模型；

S2、根据两个摄像头之间的空间关系，由待融合图像重叠视野部分的中线求出目标图像重叠视野部分的中线，并由已知的转换矩阵求出最终映射；

S3、在中线两侧分别计算缝合线，根据预设的能量函数计算出各自的最佳解，计算出最终的最佳缝合线；

S4、采用线性融合算法对最佳缝合线两侧的图像进行拼接；基于可学习稀疏卷积神经网络构建亮度校正模型，该亮度校正模型结合源图像待拼接部分A、目的图像待拼接部分B和经过最佳缝合线拼接的最终图像的已拼接部分C，对已完成拼接的图像进行亮度校正。

2.根据权利要求1所述的面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法，其特征在于，步骤S1中，采用基于Vibe的背景消减法进行运动目标前景集的提取，根据提取出的前景运动目标集构建不包含前景集的缝合线搜索模型的过程包括以下步骤：

采用背景消减法找到前景运动目标并匹配成功后，分别得到两幅包含运动目标的掩码图I₁、I₂，将两幅图像中构成运动物体的像素点集称为前景集，利用前景集中的像素对缝合线的搜索模型进行约束，提取出的前景集分别表示为：

G₁＝{p₁，p₂，p₃…p_N}

G₂＝{p′₁，p′₂，p′₃…p′_M}

其中G₁表示左侧图像前景集，G₂表示右侧图像前景集，p_1～N表示构成前景集G₁的像素，p′_1-M表示构成前景集G₂的像素，I₁的前景集中包含N个像素点，I₂的前景集中包含M个像素点；

在构建得到的缝合线搜索模型中将两个前景集中的像素单独分离出来，不参与能量强度计算，则当一个像素的下一行相应位置及其左右共三个位置包含有不参与计算的前景集像素时，该点仅与距离最近的两个非前景像素计算能量强度并进行累加计算，最终得到多条缝合线。

3.根据权利要求1所述的面向虚拟现实的考虑时空关系的最佳缝合线图像融合方法，其特征在于，步骤S2中，根据两个摄像头之间的空间关系，由待融合图像重叠视野部分的中线求出目标图像重叠视野部分的中线，并由已知的转换矩阵求出最终映射的过程包括以下步骤：

采用下述公式计算重叠部分中线：

其中[u₀，v₀]表示目标图像重叠区域中位线上的像素值，[u₁，v₁]表示待拼接图像重叠区域中位线上的像素值，F₀表示拍摄目标图像摄像机的参数矩阵，F₁表示拍摄待拼接图像的摄像机的参数矩阵，Q表示两个摄像头之间的空间变换矩阵，其中d_0，x表示目标图像在水平方向x上单位像素大小，d_1，x表示待拼接图像在水平方向上单位像素大小，d_0，y表示目标图像在垂直方向y上单位像素大小；y和d_y分别表示在x，y方向上的单位像素的大小，s、z、e和w分别表示两个摄像头之间空间转换关系的四元数的各项值；

待融合图像中的中线[u₁，v₁]经过图像配准转换参数T转换后得到最终融合图像中的中线[u₂，v₂]。