[发明专利]一种语义分割信息指导深度学习鱼眼图像校正方法

说明书

本发明公开一种语义分割信息指导的深度学习鱼眼图像校正方法，首先构建鱼眼图像仿真数据集，然后构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络，利用仿真数据集对深度学习模型进行训练，得到训练完成的深度学习模型，对于待处理的鱼眼图像，直接将鱼眼图像输入训练完成的深度学习模型，快速得到校正后的无畸变图像。本发明的方法通过提取鱼眼图像的语义分割信息对后续鱼眼图像畸变参数估计过程进行约束，进一步提高鱼眼图像畸变参数的估计精度和鱼眼图像校正精度。

技术领域

本发明涉及图像处理技术，具体指一种语义分割信息指导的深度学习鱼眼图像校正方法。

背景技术

鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。

具体地，鱼眼镜头将半球形物面成像为平面，因此所拍摄的图像严重畸变，使得人的视觉上感受不自然，因此需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的透视投影图像。现有技术中进行鱼眼图像校正的方法中，包括鱼眼成像面投影模型、二维图像畸变校正、三维图像畸变校正三类。其中较为常见的三维图像畸变校正方法，是基于球面坐标定位法实现的。除了这类需要人工提取鱼眼图像畸变特征来计算相应畸变参数的方法外，最近还出现了利用深度学习模型自动学习鱼眼图像畸变特征，并进行端到端鱼眼图像校正的方法。

但是，现有的鱼眼图像畸变校正方法没有充分考虑图像的语义分割信息，因此在畸变参数的估计过程中缺乏约束，从而影响畸变参数估计精度和畸变校正效果。

发明内容

本发明为克服上述情况不足，旨在提供一种充分利用语义分割信息进行深度学习端到端鱼眼图像校正的方法，用于解决现有技术中鱼眼图像畸变参数估计过程中缺乏约束，从而影响畸变参数估计精度和畸变校正效果的问题。

一种语义分割信息指导的深度学习鱼眼图像校正方法，其特征在于，包括以下步骤：

步骤一：构建鱼眼图像仿真数据集。

所述构建鱼眼图像仿真数据集的具体方法是：将无畸变图像通过鱼眼镜头成像模型公式计算得到仿真鱼眼图像，其中鱼眼镜头成像模型公式为：

θd＝k0θ+k1θ3+k2θ5+k3θ7+k4θ9 (1)

其中，θ表示针孔相机成像过程中入射光线与光轴的夹角，θd表示鱼眼成像点与鱼眼图像平面坐标系的原点之间的距离，k0、k1、k2、k3和k4表示鱼眼图像的畸变参数。

所述仿真数据集中的图像数量大于20000张。

步骤二：构建用于鱼眼图像校正的深度学习模型，包括语义分割子网络、鱼眼图像畸变参数估计子网络和畸变校正子网络。