[发明专利]鱼眼图像拼接成全景图像和全景视频的方法及装置

权利要求书

1.一种鱼眼图像拼接成全景图像的方法，其特征在于，包括：

利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像，其中，N为不小于2的整数；

根据经纬度坐标、球面坐标和平面坐标的映射关系，获取到所述N个鱼眼图像按经纬度展开后的N个柱面投影图像；

将所述N个柱面投影图像中每组柱面投影图像的相交区域进行特征点匹配，得到每组柱面投影图像相交区域的匹配特征点对，其中，每两个具有相交区域的柱面投影图像为一组柱面投影图像；

根据球面坐标和经纬度坐标的映射关系，获取每组柱面投影图像相交区域的匹配特征点对在球面上的三维坐标集，并利用每组柱面投影图像相交区域的匹配特征点对的三维坐标集进行姿态计算，获取每组柱面投影图像相交区域的匹配特征点对的姿态矩阵；

以所述N个鱼眼镜头中的某一鱼眼镜头的坐标系为世界坐标系，利用每组柱面投影图像相交区域的匹配特征点对的姿态矩阵，计算得到每个鱼眼镜头在世界坐标系中的姿态矩阵；

根据每个鱼眼镜头在世界坐标系中的姿态矩阵，确定由所述N个鱼眼图像拼接而成的全景图像中每个像素点的像素值；

根据所述全景图像中每个像素点的像素值，获取所述全景图像。

2.如权利要求1所述的方法，其特征在于，所述获取每组柱面投影图像相交区域的匹配特征点对的三维坐标集，具体包括：

利用经纬度坐标获取每组柱面投影图像相交区域的匹配特征点对在柱面投影图像中的二维坐标集；

根据经纬度坐标和球面坐标的映射关系和所述二维坐标集，获取每组柱面投影图像相交区域的匹配特征点对的三维坐标集。

3.如权利要求1所述的方法，其特征在于，在所述全景图像的分辨率不大于每个鱼眼图像的分辨率时，所述根据每个鱼眼镜头在世界坐标系中的姿态矩阵，确定由所述N个鱼眼图像拼接而成的全景图像中每个像素点的像素值，具体包括：

根据每个鱼眼镜头在世界坐标系中的姿态矩阵，获取所述全景图像中每个像素点在相应鱼眼图像中的对应像素点；

根据所述全景图像中每个像素点在相应鱼眼图像中的对应像素点的像素值，确定所述全景图像中每个像素点的像素值。

4.如权利要求3所述的方法，其特征在于，所述根据每个鱼眼镜头在世界坐标系中的姿态矩阵，获取所述全景图像中每个像素点在相应鱼眼图像中的对应像素点，具体包括：

将所述全景图像中每个像素点的经纬度坐标转换为球面坐标；

根据所述全景图像中每个像素点的球面坐标和每个鱼眼镜头在世界坐标系中的姿态矩阵，获取所述全景图像中每个像素点的新球面坐标；

根据所述全景图像中每个像素点的新球面坐标和所述N个鱼眼图像中每个像素点的平面坐标和球面坐标的映射关系，获取所述全景图像中每个像素点在相应鱼眼图像中的对应像素点。

5.如权利要求3所述的方法，其特征在于，所述根据所述全景图像中每个像素点在相应鱼眼图像中的对应像素点的像素值，确定所述全景图像中每个像素点的像素值，具体包括：

若所述全景图像中某个像素点分别与K个鱼眼图像中的K个像素点对应，则根据所述K个像素点的像素值和权重，确定所述全景图像中该像素点的像素值，所述K个像素点与所述K个鱼眼图像一一对应，K为不小于2且不大于N的整数；

若所述全景图像中某个像素点仅与一个鱼眼图像中的一个特定像素点对应，则确定所述全景图像中的该像素点的像素值为所述特定像素点的像素值。

6.如权利要求5所述的方法，其特征在于，所述根据所述K个鱼眼图像中与所述全景图像中该像素点对应的K个像素点的像素值，确定所述全景图像中该像素点的像素值，具体包括：

获取所述K个像素点中每个像素点的权重；

根据所述K个像素点的像素值和每个像素点的权重，确定所述全景图像中该像素点的像素值。