[发明专利]适用于双目鱼眼图像拼接展开校正的方法及系统

说明书

本发明涉及一种适用于双目鱼眼图像拼接展开校正的方法及系统，利用双目鱼眼相机获取原始双目鱼眼图像，并从中提取左右两个有效的圆形成像区域；然后提取两个有效区域中重叠部分的特征点，并将特征点匹配成对；接着将两个有效区域图像分别映射得到两幅空间坐标单位球面图像，在三维空间球面上进行矩阵奇异值分解，求解得到两幅图像间的旋转关系即旋转矩阵，并通过旋转矩阵校正其中一幅空间坐标单位球面图像；最后将两幅空间坐标单位球面图像分别映射得到两幅全景坐标图像，并拼接成为一幅完整的360度全景图像。采用该种方法及系统，可以解决装配时鱼眼成像传感器不平行导致误差，经校正后拼接效果好，处理实时性好，且易于实行。

技术领域

本发明属于图像处理领域，尤其涉及鱼眼图像处理领域，具体是指一种适用于双目鱼眼图像拼接展开校正的方法及系统。

背景技术

近年来全景相机在计算机视觉和虚拟现实领域中越来越受到人们的欢迎。传统的虚拟现实通过3D图像技术建立虚拟环境，其由几何图形和纹理贴图所组成，看上去十分的不真实。而使用全景图像创建的虚拟环境能真实的呈现室内和室外的环境，浸入感更强。由于鱼眼相机有着广阔的视角，采用鱼眼镜头实现全景相机已成为行业趋势。

鱼眼镜头是一种超广角摄像头，视场角接近甚至超过180°，所能观察的范围远大于人眼的视角范围。它在视频会议、全景图像拼接、虚拟漫游、机器人导航以及大范围公共场所的安防监控等领域扮演着重要角色。但是由于鱼眼镜头的大视场角是以牺牲图像直观性为代价的，所以用鱼眼镜头拍摄的图片都存在很大程度的畸变，最显著的就是“桶形畸变”。这样的畸变不仅人眼观察的效果差，而且图像识别效果也很差。

要获取较好的全景图像，我们需要对双目鱼眼图像进行展开及拼接，这是影响鱼眼镜头实际应用的难点。双目鱼眼图像的拼接是实现全景视觉系统的难点之一，其存在全景图像拼接耗时长，无法实现实时性；在全景图像拼接中会出现重影等问题。

现有技术中的双目鱼眼图像拼接技术主要是对小视角小畸变照片进行拼接，无法对由装配问题引起的图像误差进行校正，缺少准确、易实现且全自动拼接的全景图像生成的方法。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种基于对全景相机及鱼眼镜头深入的研究，建立鱼眼图像和全景图像之间的投影及空间映射关系，可快速、准确的对由装配问题引起的图像误差进行校正的，易实现的且全自动拼接的适用于双目鱼眼图像拼接展开校正的方法及系统。

为了实现上述目的，本发明的适用于双目鱼眼图像拼接展开校正的方法及系统如下：

该适用于双目鱼眼图像拼接展开校正的方法，其主要特点是，包括以下步骤：

(1)通过双目鱼眼相机获取原始双目鱼眼图像，将所述的双目鱼眼相机中各鱼眼相机获取原始鱼眼图像分别定义为第一原始鱼眼图像和第二原始鱼眼图像；

(2)对所述的第一原始鱼眼图像和第二原始鱼眼图像均进行有效的圆形区域的提取处理，并分别得到对应的第一有效圆形区域和第二有效圆形区域；

(3)提取所述的第一有效圆形区域和第二有效圆形区域中重叠部分的特征点，将两个有效圆形区域中的所述的特征点匹配成对；

(4)运用经纬展开法，将所述的第一有效圆形区域和第二有效圆形区域的图像均进行映射处理，将所述的有效的圆形区域中的鱼眼图像映射到空间的单位球面图像上，分别得到对应的第一空间坐标单位球面图像和第二空间坐标单位球面图像；

(5)在三维空间中，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像进行矩阵奇异值分解求解处理，确定所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像的旋转关系，将该旋转关系定义为旋转矩阵R，将所述的第一空间坐标单位球面图像和第二空间坐标单位球面图像中的一幅图像作为参考图像，通过所述的旋转矩阵R校正另一幅空间坐标单位球面图像，消除所述的双目鱼眼相机装配导致的误差；