[发明专利]全景视频校正方法及终端

说明书

本发明公开了一种全景视频校正方法及终端，方法包括：建立标定参考坐标系；在所述标定参考坐标系下分别建立第一相机坐标系、第二相机坐标系、图像物理坐标系和图像像素坐标系；分别计算所述第一相机坐标系和第二相机坐标系相对于所述标定参考坐标系的第一参数矩阵和第二参数矩阵；根据所述第一镜头相对于所述第二镜头的几何位置关系，计算所述第一参数矩阵相对于所述第二参数矩阵的转换矩阵；根据所述转换矩阵对全景摄像装置进行标定；获取标定后的全景摄像装置拍摄的畸变图像上像素点的初始图像像素坐标；对所述初始图像像素坐标进行校正，得到校正后的图像像素坐标。可以实现全景摄像装置的准确标定以及解决全景摄像中图像畸变的问题。

技术领域

本发明涉及摄像技术领域，尤其涉及一种全景视频校正方法及终端。

背景技术

随着VR技术的不断成熟和发展，VR技术已经开始在医疗、娱乐和教育等社会领域发挥了重要的作用，VR技术的发展将对社会的发展进步起到巨大的推动作用。

全景摄像机最早应用于勇气号火星探测器，作为人类遣往其他行星上的第一个地面移动机器人，上面装有一对可拍摄火星表面彩色照片的全景摄像机以及各种传感器设备。2007年瑞典厄勒布鲁大学AASS移动机器人实验室研制出一种球形安全机器人GroundBot。该机器人在球形主体的两侧安置了可变焦摄像机拍摄周围环境，生成360度虚拟全景空间。利用获取的全景图像增强机器人对环境的观测感知能力和远程监控能力，并采用机器人的SLAM(Simultaneous Localization and Mapping，同步定位与建图)技术进行机器人自主定位和导航。同年，卡内基梅隆大学与美国宇航局在合作的GlobalConnection项目中，研发出一款全景摄像机器人Gigapan。该全景摄像机器人采用具有重叠的单张图像拍摄方法，生成高达10亿像素的全景图像。

目前全景摄像机根据硬件组成的不同，可以分为多镜头式全景摄像机和单镜头式全景摄像机。单镜头式全景摄像机一般采用单个鱼眼镜头，鱼眼镜头是一种超短焦距、超广角的镜头，其拍摄视野能够达到甚至超过180°。基于光的折射原理，鱼眼镜头的设计与制造一般遵循某个特定的投影模型，如等距投影模型，其投影模型及参数决定了鱼眼镜头的视野、分辨率分布情况。鱼眼图像有严重的畸变，如场景中的直线在鱼眼图像中可能成了曲线，因此鱼眼图像不适合人眼观察，需要把鱼眼图像校正成“看起来”正常的图像，去除或减少畸变，这一过程一般被称作鱼眼镜头畸变校正。多镜头式全景摄像机首先通过有规律地排列多个普通镜头来覆盖整个拍摄视野，然后通过图像配准、图像拼接及图像融合等技术来生成完整、无缝的全景图像。

摄像测量中摄像机标定的任务主要包括内参数、外参数和像差系数的确定，在计算机视觉研究中多用摄像机采集标定参照物的图像，再通过分析图像来求解摄像机参数，大致可分为三类：传统标定方法、基于主动视觉的标定方法和自标定方法。基于空间坐标精确已知的控制点标定摄像机的方法是经典的摄像机标定方法，需要构造若干控制点，然后用待标定摄像机采集这些控制点的图像并提取各控制点的像点，再根据控制点的空间坐标和对应像点的图像坐标计算摄像机的参数。现有的大多数双目摄像机标定方法都是基于这种经典标定方法，同时依赖两个摄像机之间存在的公共视场区域，当双目摄像机间不存在共同视场或视场交叉范围较小时，则无法求取双目摄像机的外部参数。

透镜畸变是指空间点在摄像机成像面上实际所成像点与理想像点之间存在位置畸变误差，图像畸变的类型主要包括：径向畸变、偏心畸变和薄棱镜畸变。径向畸变主要是由镜头表面部分在径向曲率的变化存在缺陷造成的，图像点的负向的径向位移就是所谓的桶形畸变，它将造成居于外侧的边缘点更加拥挤。成像比例减小而正向的径向位移称为枕形畸变，它会造成外侧的点相对扩散和成像比例增加。偏心畸变主要是由光学系统光心与几何中心不一致造成的，即各透镜的光轴中心不能严格共线。这类畸变既含径向畸变，又含切向畸变。薄棱镜畸变主要是由镜头设计和生产以及摄像机组装过程中的缺陷引起的，比如图像感应阵列或镜头部分的微小倾斜等这类畸变相当于在光学系统中附加了一个薄棱镜，不仅会引起径向偏差，而且会引起切向误差。