[发明专利]基于线性求解非线性优化的双目相机外参标定方法和系统

说明书

本发明公开了基于线性求解非线性优化的双目相机外参标定方法和系统，包括：对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；基于N对匹配点的三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组得到初始双目相机外参；将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值获得视觉重投影误差；对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型得到最优双目相机外参，用于双目相机外参标定。本发明充分利用双目相机的深度信息，仅需较少的图片，在保证标定精度的同时能明显降低标定时间。

技术领域

本发明属于双目相机标定领域，更具体地，涉及一种基于线性求解非线性优化的双目相机外参标定方法和系统。

背景技术

双目相机的两个镜头空间距离较大，姿态也不一致，即左眼相机坐标系与右眼相机坐标系不对齐，而在关于双目视觉图像处理的关键技术中，大量使用了左眼与右眼相机坐标系之间的位姿信息，不准确的双目位姿信息可能降低双目视觉图像处理的精度。因此，需要通过标定来对齐两个相机坐标系，即标定右眼相机坐标系在左眼相机坐标系下的相对位置与相对旋转，分别用平移向量t与旋转矩阵R表示，称双目相机外参标定。双目相机外参标定是现代双目视觉图像处理领域的核心技术之一，在国内外基于双目视觉信息的各类算法中得到了广泛的应用。

目前关于双目相机外参的标定方法还存在如下问题：

现有的一些双目相机外参标定方法，主要针对的是无深度信息的双目相机，而大部分双目相机具备深度估计功能，即可以直接获取左眼相机的每个像素的深度信息，而利用常规的双目相机外参标定算法来标定该种类型的相机外参，需要采集多帧的双目图像来估计外参，使得标定时间较长，导致标定效率降低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于线性求解非线性优化的双目相机外参标定方法和系统，由此解决传统标定算法无法利用双目相机的深度信息，需要采集多帧的双目图像来标定外参，导致标定时间较长的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于线性求解非线性优化的双目相机外参标定方法，包括如下步骤：

(1)对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；

(2)将N对匹配点中属于一幅图像的特征点的二维像素坐标和深度值变换为三维空间坐标，将属于另一幅图像的特征点的二维像素坐标变换为归一化平面坐标，基于三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组，得到初始双目相机外参；

(3)将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行下一步，否则返回步骤(1)；

(4)对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型，得到最优双目相机外参，用于双目相机外参标定。

进一步地，步骤(1)中特征点提取的具体实现方式为：

提取左右两幅图像的角点，对角点进行二进制编码描述，由此得到具有描述子的ORB特征点。

进一步地，步骤(1)中特征点匹配的具体实现方式为：

对于一幅图像中每个ORB特征点，测量其与另一幅图像中所有ORB特征点的描述子的距离，然后排序，将距离最近的一对特征点作为匹配点，进而得到N对匹配点。

进一步地，步骤(1)还包括：对左右两幅图像进行畸变消除操作后进行特征点提取和匹配。

进一步地，标定板具有亮度变化且不反光。

进一步地，步骤(3)包括：