[发明专利]鱼眼图像拼接成全景图像和全景视频的方法及装置

说明书

本发明公开了一种鱼眼图像拼接成全景图像和全景视频的方法及装置，利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像；根据经纬度坐标、球面坐标和平面坐标的映射关系，将获取到N个柱面投影图像中每组柱面投影图像的相交区域进行特征点匹配，得到每组柱面投影图像相交区域的匹配特征点对；根据球面坐标和经纬度坐标的映射关系，获取匹配特征点对的姿态矩阵；以所述N个鱼眼镜头中的某一鱼眼镜头的坐标系为世界坐标系，利用匹配特征点对的姿态矩阵，计算得到每个鱼眼镜头在世界坐标系中的姿态矩阵；根据每个鱼眼镜头在世界坐标系中的姿态矩阵，确定全景图像中每个像素点的像素值；根据所述全景图像中每个像素点的像素值，获取所述全景图像。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种鱼眼图像拼接成全景图像和全景视频的方法及装置。

背景技术

鱼眼镜头是一种短焦距、大视场的特殊摄像镜头，其视角接近180°，超出人眼所能看到的视角范围，为了达到这种效果，鱼眼镜头前镜片向前凸起和鱼的眼睛很像。鱼眼镜头采用非线性结构，镜头的物理特性决定了在相同的面积下，拍摄的视角远远大于普通镜头拍摄的视角，但同时，在图像的边缘也会产生形变。鱼眼镜头拍摄得到的鱼眼图像圆心附近信息量最大，形变最小，而随着半径的增加，信息量减少，形变逐渐增大。由于鱼眼镜头物理特性，在摄影、医疗、检查技术、安全监视、防火检测、虚拟现实等方面都有广泛的应用。由于自身的优点使得鱼眼镜头广泛的应用到各个方面，针对鱼眼镜头所拍摄的鱼眼图像特点，利用鱼眼图像进行全景图像的拼接具有非常好的实际应用前景和技术研究价值。

现有技术中，将多副鱼眼图像拼接成全景图像过程中，首先从所述多福鱼眼图像中采集具有重叠部分的图像序列，然后进行图像配准，将配准后的图像平滑拼接或融合得到全景图像，而此时如果需要得到高质量的全景图像，其图像配准和平滑拼接的算法需要花费大量的时间，使得获取的所述全景图像的实时性变差；而在确保所述全景图像的实时性的基础上时，必然会使图像配准和平滑拼接的算法计算的时间变短，导致出现获取的全景图像的精度低的问题，从而存在获取全景图像过程中的实时性和精度不能兼容的问题。

发明内容

本发明提供了一种鱼眼图像拼接成全景图像和全景视频的方法及装置，解决了现有技术中存在获取全景图像过程中实时性和精度不能兼容的问题，实现了在获取全景图像过程中确保实时性的前提下其精度也得以提高的效果。

本申请第一方面提供了一种鱼眼图像拼接成全景图像的方法，包括：

利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像，其中，N为不小于2的整数；

根据经纬度坐标、球面坐标和平面坐标的映射关系，获取到所述N个鱼眼图像按经纬度展开后的N个柱面投影图像；

将所述N个柱面投影图像中每组柱面投影图像的相交区域进行特征点匹配，得到每组柱面投影图像相交区域的匹配特征点对，其中，每两个具有相交区域的柱面投影图像为一组柱面投影图像；

根据球面坐标和经纬度坐标的映射关系，获取每组柱面投影图像相交区域的匹配特征点对在球面上的三维坐标集，并利用每组柱面投影图像相交区域的匹配特征点对的三维坐标集进行姿态计算，获取每组柱面投影图像相交区域的匹配特征点对的姿态矩阵；

以所述N个鱼眼镜头中的某一鱼眼镜头的坐标系为世界坐标系，利用每组柱面投影图像相交区域的匹配特征点对的姿态矩阵，计算得到每个鱼眼镜头在世界坐标系中的姿态矩阵；

根据每个鱼眼镜头在世界坐标系中的姿态矩阵，确定由所述N个鱼眼图像拼接而成的全景图像中每个像素点的像素值；

根据所述全景图像中每个像素点的像素值，获取所述全景图像。

可选的，所述获取每组柱面投影图像相交区域的匹配特征点对的三维坐标集，具体包括：

利用经纬度坐标获取每组柱面投影图像相交区域的匹配特征点对在柱面投影图像中的二维坐标集；