[发明专利]基于卷积网络的图像拼接方法及装置

说明书

本发明公开了一种基于卷积网络的图像拼接方法及装置，其中，方法包括：利用卷积网络确定待拼接的左图和右图，并获取左图和右图与最终拼接结果图像素的对应关系，以得到左图和右图到最终拼接结果图的初始运动场；获取基于初始运动场变形的左图和右图，并通过图像特征和判别特征的约束，由卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。该方法可以通过卷积网络与图像拼接相结合可以对颜色处理更兼精确，保证拼接结果与真实场景的相似度，也能保证拼接结果的实时性。

技术领域

本发明涉及计算机视觉、计算机图形学技术领域，特别涉及一种基于卷积网络的图像拼接方法及装置。

背景技术

目前，图像拼接是计算机视觉与计算机图像学领域中一个重要且基础的问题，并且在超分辨率处理、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在虚拟现实领域中，可以通过图像拼接技术生成宽视角甚至是360度的环绕视角以使得观察者获得沉浸式感受，提升虚拟现实系统在视觉上的真实度；在无人驾驶领域，通过拼接双目摄像头拍摄到的图像可以获得具有更宽视角的路况信息，方便无人车寻路制导。

然而，现有的图像拼接技术仍然存在缺陷，通常无法即精确的处理场景视差问题又保证拼接的实时性。如果对场景进行精细的划分来处理视差，则难以实时的获得拼接结果；如果整幅图像求取变性，或者识别缝合线进行拼接，虽然能保证速度，但对于较大视差的情况下不能较好的配准。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于卷积网络的图像拼接方法，该方法不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。

本发明的另一个目的在于提出一种基于卷积网络的图像拼接装置。

为达到上述目的，本发明一方面实施例提出了一种基于卷积网络的图像拼接方法，包括以下步骤：利用卷积网络确定待拼接的左图和右图，并获取所述左图和右图与最终拼接结果图像素的对应关系，以得到所述左图和右图到最终拼接结果图的初始运动场；获取基于所述初始运动场变形的所述左图和右图，并通过图像特征和判别特征的约束，由所述卷积网络求解在每个像素位置对左图颜色和右图颜色的选择，生成拼接结果图颜色，并分别获取融合时左图和右图对应的颜色选择图；根据判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果。

本发明实施例的基于卷积网络的图像拼接方法，通过卷积网络确定待拼接的左图和右图，并获取基于初始运动场变形的左图和右图，通过判别网络和空间平滑约束调整更新得到运动场生成网络和颜色选择图生成网络，得到拼接结果，从而可以将卷积网络与图像拼接相结合，对左右图中像素逐一估计运动和颜色选择，不仅可以对图像视差的处理更精确，而且可以对颜色的选择融合更接近真实场景，进而可以有效提高图像拼接的准确性、可靠性和实时性。

另外，根据本发明上述实施例的基于卷积网络的图像拼接方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述获取待拼接的左右图像素与最终拼接结果图像素的对应关系，以得到初始运动场，进一步包括：基于编码器-解码器的网络结构，使用所述待拼接的左图和右图作为网络输入，根据网格形式的稠密单应性矩阵计算得到所述左图和右图与所述拼接结果图像素的对应关系；将所述对应关系作为目标运动场，并使用所述目标运动场约束网络生成结果。