[发明专利]图像几何校正方法及装置

说明书

本发明涉及图像几何校正方法及装置，通过将经过预处理的目标图像组输入经过大量虚拟相机得到的图像组迭代训练的网络模型中即可得到与每幅目标图像对应的透视变换系数，再将预测得到的透视变换系数与对应图像相乘即可得到几何校正后的图像。本发明的方法及装置结合了深度神经网络预测透视变换系数的鲁棒性和精确性，过程中深度学习方法能够给出较为鲁棒的校正，可以更好地校正无纹理场景和含有近景物体的场景的几何校正。此外，这种深度学习方法实际实现中速度也很快，另外由于几何校正仅在相机设置时计算一次，所以不影响全景相机拼接时的处理时间。

技术领域

本发明涉及摄像及图像处理技术领域，具体涉及环绕多相机的图像几何校正方法及装置。

背景技术

多摄像头图像拼接可以有效增大视场域，现有技术中全景摄像头可以采集360度的图像和视频，而全景摄像头往往由多个环绕摄像头同时采集并拼接组成。全景摄像机已经广泛应用于广播电视直播录播、个人自拍、航拍等工业与娱乐领域。

由于环绕多摄像头系统中相机安装、镜头畸变、支架系统的旋转、平移错位等会使得拍摄的各幅画面直接拼接的话带来明显的重影，所以需要对拍摄的各幅画面进行几何校正才能进一步拼接。

多摄像头画面几何校正，即对每个相机计算出一个透视变换矩阵，通过几何变换使得相邻图像的垂直视差（同一个物体在左右眼图像中垂直方向的距离差）最小化。

现有方法往往使用局部特征检测和匹配（比如使用ORB特征点检测匹配算法），计算多幅邻接图像的透视变换系数完成图像校正，这种方法对于纹理较为丰富的图像能取得较好的结果，但对于纹理不够丰富的场景往往不是很理想。此外，现有方法在邻接摄像头朝向夹角较大或者场景中有物体距离摄像头较近的时候，由于局部视差较大特征点匹配出现困难，也难以取得较好的几何校正结果。

发明内容

本发明的目的在于提供一种图像几何校正方法及装置，该方法及装置能够改进现有全景相机图像的几何校正质量，使得在纹理较少的场景和含有近景目标的场景中，拼接不出现瑕疵假影，以提高图像拼接质量。

为实现上述技术目的，本发明采用如下技术方案：

一种图像几何校正方法，包括如下步骤：

获取环绕多相机的各个相机的待校正图像，每个相机一幅图像；

将获取的多幅待校正图像预处理为符合网络模型输入要求的图像；其中，所述网络模型经对包括多组经过虚拟相机生成的图像样本集和与其对应的透视变换系数进行迭代训练获取；

将经过预处理的多幅待校正图像输入网络模型中，计算获取各幅图像的透视变换系数；

将多幅待校正图像按照与其对应的透视变换系数进行几何透视变换，即得到校正后的图像。

进一步的，所述网络模型的训练方法包括：

获取虚拟相机生成的图像样本集，及与其中每幅图像对应的透视变换系数；

对图像样本集进行预处理；

将各组经过预处理的图像样本集输入卷积神经网络中，并输出预测的图像的透视变换系数，根据各组图像样本集计算得到的透视变换系数结果和虚拟相机得到的透视变换系数计算预测误差，并采用有监督的反向传播方法对卷积神经网络进行迭代训练，得到深度学习的网络模型。

进一步的，所述输出预测的图像的透视变换系数的方法包括：

将各组经过预处理的图像样本集输入卷积神经网络中，通过卷积层对图像进行卷积运算，通过激活函数层对卷积运算结果进行非线性变换，通过池化层对非线性变换结果进行池化操作以加快训练速度，通过全连接层对池化操作结果进行线性变换得到多个透视变换系数。

进一步的，激活函数层中采用的激活函数为线性整流函数，池化层采用最大池化方式。