[发明专利]一种基于球面展开模型的鱼眼视频实时全景校正方法

说明书

本发明提供了一种基于球面展开模型的鱼眼视频实时全景校正方法，属于图像视频处理领域，包括鱼眼图像的采集，鱼眼图像预处理，鱼眼图像轮廓提取，图像几何关系变换，基于鱼眼图像的重投影，鱼眼视频漫游的实现。本发明采集到鱼眼视频后，先求出鱼眼图像对应的“球面模型”的半径，然后选择并将每帧鱼眼图像中的每个像素还原到一个“球面模型”上；再将球面上每一个像素按照对应的球面圆弧展开到一个校正平面上；最后对校正后像素进行采样插值即得到鱼眼图像的校正图像。本发明相比同类算法，克服了宽视角和时效性的限制，解决了球面不可展的问题，有效提高了图像校正精度，并且实现鱼眼视频全景展开，且能满足实时的应用，对不同模型的鱼眼镜头具备一定的鲁棒性，有较强的实用性。

技术领域

本发明属于涉及图像视频处理领域，具体涉及一种基于球面展开模型鱼眼图像校正方法，并实现鱼眼视频的实时全景展开。

背景技术

鱼眼镜头具有结构紧凑、体积小、不易损坏等优点；同时考虑到采用鱼眼镜头构建的全方位视觉可获取真正意义上的全景球面图像，无盲区，无须考虑图像拼合和嵌接等问题，所以鱼眼镜头是构建全方位视觉系统最有效的方法之一，具有很高的研究价值和广泛的潜在应用前景。目前它在视频监控、视频会议、虚拟现实和机器人导航等领域都具有很广泛的应用。但鱼眼镜头摄像机拍摄的图像具有非常严重的畸变，若要利用这些具有严重变形图像的信息，就需将这些变形图像校正展开为人们所习惯的图像模式。因此研究开发一种算法，使鱼眼图像恢复成人眼所能接受显示效果，并且能实现实时、精确的校正和展开具有学术意义和实际应用价值。

实现鱼眼视频的全景校正一般分为以下几步：鱼眼图像的采集→鱼眼图像预处理→几何关系变换→图像的重投影→鱼眼视频实时全景校正的实现。鱼眼图像校正技术主要可以分为三类：基于几何投影、基于相机标定、基于人工智能。基于几何投影模型的校正方法主要是利用空间几何坐标关系进行校正，找到鱼眼图像中的像素点与校正后图像中像素点之间的映射关系，但是基于几何投影模型的校正方法往往受限于鱼眼图像的宽视角，导致有效校正区域小，边缘部分仍存在较大畸变。基于相机标定的校正方法，是建立在鱼眼相机模型的基础上，通过设计适合的标定方法求得相应鱼眼相机的模型参数。鱼眼镜头标定的目的是得到鱼眼相机模型的变形参数，依据这些畸变参数就可以校正当前镜头拍摄的鱼眼图像。然而这种方法的主要问题是，鱼眼镜头生产工艺的精度不一定都能满足要求，而且实际使用的镜头千差万别，特定的畸变模型不一定能够适合多种镜头的成像结果校正法估算多项式的系数。基于人工智能的校正方法，以基于支持向量机(SVM)的方法为例，该类方法避免了畸变模型的选择和选用特定模型带来的局限性问题。使用SVM技术建立校正后图像点与校正前图像点的坐标映射关系，从而实现鱼眼图像的校正，但这种方法需要大量的训练样本，导致工作量巨大，并且训练过程也比较耗时，难以同时满足时效与精度的要求。

综上所述，目前鱼眼视频的校正存在以下问题：

(1)基于几何投影的鱼眼图像校正方法简便，但是受限于鱼眼镜头的宽视角，导致有效校正区域受限；

(2)基于相机标定的鱼眼图像校正方法对特定镜头校正精度高，但不能同时满足多种鱼眼镜头的畸变校正；

(3)基于人工智能的鱼眼图像校正方法避免了针对特定镜头校正的局限性，但是训练样本大，计算复杂度高且存储空间大，不易于硬件实现。

发明内容

鉴于以上所述现有技术存在的问题和不足，本发明技术方案提供的一种基于球面展开模型的鱼眼图像校正方法，实现鱼眼视频的实时全景校正，包括以下步骤：

步骤S1，采集鱼眼图像；

步骤S2，鱼眼图像预处理；

步骤S3，鱼眼图像轮廓提取；

步骤S4，计算图像校正平面上任意点对应鱼眼图像上的像素点坐标，具体包括以下子步骤，