[发明专利]一种全景图像拼接方法及装置

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种全景图像拼接方法及装置。

背景技术

随着数码相机，智能手机等手持设备的兴起，照片的拍摄和分享变得日益便捷，逐渐成为我们生活中一项重要的娱乐活动。由于单个相机的视角有限，因此许多拍照程序都提供一种全景拍摄模式，引导用户拍摄多张照片，然后自动合成一幅大视角全景图。在相机纯旋转的拍摄条件下，所有输入图像来自同一视点，这种情况经过大量研究，已经存在比较成熟的模型和解法，在实际中也得到了广泛应用。

但是在手持设备的使用过程中，实际上很难保证以单视点进行拍摄，即很难保证纯旋转的拍摄条件。因此不同图像之间产生视差。视差的出现是由于不同的光学投影中心导致的，当从两个或多个视点观察同一景物时，不同的视点在不同的视角下感知图像，通过三角测量原理可以计算出不同视角下获得的该景物的图像像素的位置偏差，也就是视差。不同的视点在不同的视角下感知图像上的同一物体存在一个透视变换关系，该透视变换关系可以用一个单应矩阵来表示。

现有技术中的全景拼接方法采用一个全局单应矩阵，即以一个单应矩阵来表示输入的图像之间的透视变换关系。以两个图像拼接为例，首先获的两个图像的匹配特征点，所谓匹配特征点即两特征点在空间上表示同一点。然后根据获取的匹配特征点，求解单应矩阵，最后，根据该单应矩阵将其中一幅图像上的所有像素点进行变换，确定在另一幅图像所在平面的对应位置，即得到两幅图的拼接结果。然后再对图像进行颜色融合等处理，得到较好的拼接图。

但是这种拼接方法只能适用于摄像机纯旋转的条件下拍摄的图像。若摄像机并非纯旋转，产生位移时，一个全局的单应矩阵不能对图像进行配准，出现拼接误差使得拼接结果图像产生畸变。

现有技术没有一种有效的拼接方式能够在摄像机非纯旋转、存在位移时能够对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。

发明内容

本发明实施例提供一种全景图像拼接方法及装置，能够在摄像机非纯旋转、存在位移时能够对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。

第一方面，本发明实施例提供了一种全景图像拼接方法，该方法包括：

提取多幅待拼接图像中的图像的特征点；

在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合；

将所述多幅待拼接图像中的图像划分为多个矩形区域，并获取所述多个矩形区域的顶点坐标；

基于所述第一特征点对集合中的特征点的坐标，以及所述多个矩形区域的的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数；

求解使得所述全局能量函数的值最小的最优解，将所述最优解作为所述多个矩形区域的求解后的顶点坐标；

基于所述求解后的顶点坐标对多幅待拼接图像的图像进行坐标变换，从而获取多幅变换后的待拼接图像；

将所述多幅变换后的待拼接图像进行拼接。

结合第一方面，在第一方面的第一种可能的实现方式中，所述基于所述第一特征点对集合中的特征点的坐标，以及所述多个矩形区域的的顶点坐标，构建所述多个矩形区域的顶点坐标的全局能量函数包括：

基于所述第一特征点对集合中任一特征点所在的矩形区域的顶点坐标以及所述任一特征点的坐标，确定所述任一特征点所在的矩形区域的顶点坐标的权值；

基于与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标以及所述与所述任一特征点匹配的特征点的坐标，确定所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标的权值；

基于所述任一特征点的表示坐标与所述与所述任一特征点匹配的特征点的表示坐标的差，构建所述配准项；所述任一特征点的表示坐标由所述任一特征点所在的矩形区域的顶点坐标的权值，以及所述任一特征点所在的矩形区域的顶点坐标表示；所述与所述任一特征点匹配的特征点的表示坐标由所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标的权值，以及所述与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标表示。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述配准项通过如下公式表示：