[发明专利]基于卷积网络的图像拼接方法及装置

权利要求书

1.一种基于卷积网络的图像拼接方法，其特征在于，包括以下步骤：

利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；

获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；

根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，其中，所述拼接结果为：

I_output＝I_{warped_l}*W_l+I_{warped_r}*W_r，

其中，I_output为所述拼接结果，I_{warped_l}和I_{warped_r}为所述卷积网络的输入，W_l和W_r为所述颜色选择图。

2.根据权利要求1所述的基于卷积网络的图像拼接方法，其特征在于，所述获取待拼接的左右图像素与最终拼接结果图像素的对应关系，以得到初始运动场，进一步包括：

基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系；

将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。

3.根据权利要求2所述的基于卷积网络的图像拼接方法，其特征在于，所述获取融合时左右图对应的颜色选择图，进一步包括：

通过基于网络生成的运动场对所述左图和右图进行变形，并且将变形后的左图和右图作为颜色选择图生成网络的输入，其中，颜色选择图网络使用编码器-解码器结构；

将所述基于网络生成的运动场和所述目标运动场分别变形的左图和右图作为判别网络和VGG网络的输入，利用所述判别网络的中间层特征和所述VGG网络的中间层特征约束并生成所述颜色选择图。

4.根据权利要求3所述的基于卷积网络的图像拼接方法，其特征在于，所述根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，进一步包括：

在调整所述运动场生成网络和颜色选择图生成网络时，收敛所述运动场生成网络和颜色选择图；

通过所述判别网络的损失和空间平滑约束调整所述运动场生成网络和颜色选择图生成网络。

5.一种基于卷积网络的图像拼接装置，其特征在于，包括：

第一获取模块，用于利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；

第二获取模块，用于获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；

拼接模块，用于根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，其中，所述拼接结果为：

I_output＝I_{warped_l}*W_l+I_{warped_r}*W_r，

其中，I_output为所述拼接结果，I_{warped_l}和I_{warped_r}为所述卷积网络的输入，W_l和W_r为所述颜色选择图。

6.根据权利要求5所述的基于卷积网络的图像拼接装置，其特征在于，所述第一获取模块还用于基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系，以及将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。