[发明专利]基于双目视觉的火焰空间定位系统标定与校正方法

权利要求书

1.基于双目视觉的火焰空间定位系统标定与校正方法，其特征在于，其中基于双目视觉的火焰空间定位系统包括：

图像获取单元，用于从不同视角同步获取火焰图像和/或视频，所述图像获取单元为两台视角不同的双目摄像机；以及

火焰三维信息获取单元，基于所述火焰图像和/或视频根据双目视觉原理求解火焰三维信息，从而实现火焰的空间定位；

所述标定与校正方法包括：

S1，建立摄像机模型，所述摄像机模型包括摄像机的小孔成型模型和摄像机成像变换关系模型；

S2，基于所述摄像机模型和2D平面靶标进行单目摄像机的标定与校正，所述单目摄像机的标定与校正包括摄像机参数求解和单目摄像机标定实现；

S3，基于单目摄像机的标定与校正结果和对极几何原理对双目摄像机构成的双目系统进行立体标定与校正；

所述摄像机的小孔成像模型包括：在摄像机的小孔成像模型中，三维环境中的任意一点P(x_c,y_c,z_c)，通过中心透视投影，在摄像机成像平面中投影为p(x,y)，光心到成像平面的距离为焦距f，则通过相似三角形容易得到：

将上述投影关系修正为：

对于一般的摄像机，通常取前三项泰勒系数k₁、k₂、k₃作为径向畸变参数，径向畸变可以由下式来表述：

用两个额外参数p₁、p₂来描述切向畸变，由下式来表示：

所述摄像机成像变换关系模型包括三个相关的坐标系：图像平面坐标系、摄像机坐标系和世界坐标系，以及它们之间的变换关系，其中图像平面坐标系包括图像平面的像素坐标系和图像平面的物理坐标系；三个坐标系的关系以及摄像机成像的变换过程：

(1)从世界坐标系到摄像机坐标系的变换

通过三维旋转和平移来实现，将旋转矩阵记作R；平移向量记作T，则场景中一点从世界坐标系到摄像机坐标系的变换可以由下式表示：

用齐次坐标表示为：

式中，平移向量T＝[t_x t_y t_z]^T，0＝[000]^T，旋转矩阵R是3×3的单位正交矩阵，该矩阵中的元素满足：

(2)从摄像机坐标系到无失真的理想图像平面的物理坐标系的变换，为理想的小孔成像，前面的式(2)给出了小孔成像模型的变换关系，用齐次式表示如下：

(3)在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换：在图像平面的物理坐标系下从理想图像坐标到实际图像坐标的变换实际上就是考虑到受镜头的畸变影响，而对图像的物理坐标进行修正的变换，由式(3)和(4)可得：

(4)从图像平面的物理坐标系到像素坐标系的变换

设成像晶片中每个像素单元在X轴与Y轴方向上的物理尺寸分别为d_x、d_y，则图像中一点从图像平面的物理坐标系到图像平面的像素坐标系的变换可以表示为：

用齐次坐标形式表示为：

如果不考虑畸变的影响，结合式(6)、式(8)、式(11)就可以得到三维场景中某物点P(x_w,y_w,z_w)与其在摄像机成像平面上的投影点P_u(x,y)之间的关系可表示为：

式中，是客观场景中的物点P在世界坐标系下的齐次坐标；f_x＝f/d_x为摄像机焦距与X方向的像素物理尺寸的比值，单位为像素，f_y＝f/d_y为摄像机焦距与Y方向的像素物理尺寸的比值，单位为像素，这里f_x和f_y本质上是一样的，都是摄像机的焦距，只是由于像素单位在X方向和Y方向的物理尺寸不一样，导致以像素为单位的焦距在数值上有所差异；(u₀,v₀)为摄像机的主点；R为3×3的旋转矩阵；T为平移向量；M₁、M₂分别为摄像机内参数矩阵和外参数矩阵；由式(12)可知，内参数矩阵M₁描述的是摄像机本身的性质，主要包括摄像机的焦距f_x、f_y、主点在图像像素坐标系下的坐标(u₀,v₀)；外参数矩阵M₂由3×3的旋转矩阵R和三维的平移向量T组成，描述的是摄像机坐标系与世界坐标系的相对位置关系，外参数可以认为是12个，包括旋转矩阵R的9个参数，和平移向量T的3个参数，但旋转矩阵R是一个3×3单位正交矩阵，所以它只有三个独立变量，分别对应三个方向的旋转角，因此实际上外参数有6个，包括旋转矩阵的三个偏转角和平移向量的三个分量；M₃₄即为3×4的摄像机的投影矩阵；如果通过摄像机标定获得了摄像机的u₀、v₀、f_x、f_y、R、T等内外参数，就可得到M₁、M₂，也就得到了在无畸变的情况下摄像机的投影矩阵M₃₄；通过两个前向平行对准的双摄像机获得了三维场景中某物点对应的图像对，且在参考图像和待匹配图像上对应的像点坐标均已知，便可由两条射线唯一确定该物点的准确位置；

所述S2包括：对于单目摄像机而言，标定要获得该摄像机的4个内参数(u₀、v₀、f_x、f_y)，6个外参数(三个旋转角和三个平移分量)，以及畸变参数(k₁、k₂、k₃、p₁、p₂)；具体包括：

S21，摄像机参数求解

对单目摄像机而言，分三步进行：第一步，先在不考虑摄像机畸变的前提下，求解基于线性模型的内外参数；第二步，再利用最大似然估计对得到的解进行非线性修正；第三步，考虑各种畸变因素，通过非线性优化对结果进行修正；

S22，单目摄像机标定实现：首先在不考虑畸变影响的条件下，利用单应性矩阵，求解摄像机内外参数的理想值；进而以该理想值为初值，求得理想的单应性矩阵，获取像点的估计值，并建立最大似然估计的目标函数，对之前所求的结果进行优化；最后考虑畸变，继续以前面求取的结果为初值，建立带畸变参数的最大似然估计的目标函数，最终优化求得摄像机的内外参数及畸变参数；

所述S21包括：

(1)单应性矩阵求解

平面靶目标上某点世界坐标记为P＝(x_w,y_w,z_w)^T，其在图像上的像点的像素坐标记为p＝(u,v)^T，相应的齐次坐标分别为

由式(12)可得，空间物点到图像像素点的映射关系为：

其中，s是任意的非零比例因子；假设该2D靶目标平面在世界坐标系下的xy平面上，即z＝0；如果把旋转矩阵R分解为3个3×1的向量，即R＝[r₁r₂r₃])，其中的一个向量就不需要了，具体如下：

靶目标平面上的点P与对应像点像素坐标之间存在一个3×3的变换矩阵H，这个矩阵即为单应性矩阵，单应性矩阵H直接把靶目标上点集的坐标与图像平面的点集的像素坐标联系；

将单应性矩阵H分解为三个3×1的列向量，则H＝[h₁ h₂ h₃]，由式(14)可知：sH＝M₁·[r₁ r₂ T] (15)

将方程(15)分解得到：

旋转矩阵R是单位正交矩阵，向量r₁、r₂、r₃两两相互正交，向量正交包含两个含义：向量的点积为0，且向量长度相等，既满足：

将式(16)带入到式(17)中可得关于摄像机内参数的两个基本约束：

令其中λ是常数比例因子，由式(11)可得：

重新排列B的元素得到一个6维的向量b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，则有：h_i^TBh_j＝v_ij^Tb(20)

其中，

式(18)的两个约束条件可以写成两个以b为未知数的齐次方程：

假设已经获得了该2D靶平面在不同位置下的N幅图像，那么就有N个这样的方程，将它们叠加起来便可得到：

加上一个附加条件[010000]b＝0，通过对矩阵V进行奇异值分解便可解出b，解出b后由(19)便可解出摄像机的内参数：

外参数可由单应性条件式(16)计算得到：

这里比例因子s由单位正交条件确定：

(2)最大似然估计

用最大似然估计对求得的结果进行优化；假设拍摄到N幅平面靶目标的图像，每幅图像有M个控制点，每个点都有独立同分布的噪声，建立如下的目标函数：

其中，p_ij是第i个2D靶目标图像中第j个控制点在图像上的像素坐标；P_ij是第i个靶目标图像中第j个控制点在的世界坐标；

则是通过己知初始值得到的第i个靶目标图像中第j个特征点在图像上的像素坐标的估计值；式(25)的非线性优化问题，可以利用LM优化算法求得目标函数最小值的稳定解；

(3)镜头畸变的修正

假设理想的针孔模型下的像点的像素坐标为p(u,v)，考虑畸变的像素坐标为p^*(u^*,v^*)，根据前面的畸变模型式(3)和(4)可得：

考虑到畸变模型，利用前面解得的摄像机内外参数，设畸变参数向量K_c＝

(k₁,k₂,k₃,p₁,p₂)，将其均设置为0，作为初始值，采用最大似然估计，将前面的目标函数(25)修正为：

再次利用LM优化算法，进一步求解，获得摄像机的内外参数以及畸变参数；

所述S3双目系统立体标定与校正包括：

S31，建立对极几何模型，包括：

每台摄像机各自都有一个独立的投影中心，分别为O_l、O_r，直线O_lO_r的就是双目系统的基线；空间一点P在两摄像机成像平面的投影点分别为p_l、p_r，因此p_l、p_r一定位于由P、O_l、O_r确定的平面内，这个平面就称为极平面；基线分别与左、右像平面相交的交点e_l、e_r称为极点；而极平面分别与左、右像平面相交的交线l_l、l_r则称为极线；场景中某点在一台摄像机成像系统中的投影光线在另一台摄像成像平面内的投影即是该点的共轭极线；给定左图像中某一极线l_l上的一点，该点在右图像中的匹配点必定被限制在它的共轭极线l_r上；同理，右图像中某一极线l_r上的一点，该点在左图像中的匹配点也必定被限制在它的共轭极线l_l上；双目系统的立体标定与校正通过一系列几何处理将系统获取的图像对校正至平行对准；

S32，立体标定，用于获取两台摄像机之间的旋转矩阵R和平移向量T，包括：假如给定世界坐标系下的任意一点P，则分别用两台摄像机单目标定的结果来获得点P到左右摄像机的变换关系：

式中：p_l和p_r分别是点P在左、右摄像机坐标系下的坐标；R_l和R_r分别为左、右两台摄像机从各自坐标系到世界坐标系的旋转矩阵；T_l和T_r分别为左、右两台摄像机从各自坐标系到世界坐标系的平移向量；由于p_l和p_r实际上是同一个点在不同坐标系下的不同描述，因此，p_l和p_r可以通过等式p_l＝R(p_r-T)相关联，其中R和T也就是立体标定所要求解的旋转矩阵和平移向量可得：

单目摄像机标定之后按照式(30)对双目系统进行立体标定；

S33，立体校正包括：通过对双目图像进行重投影，可以使双目图像在数学意义上严格地平行对准，这样图像的Y轴方向完全对准，这个重投影过程就叫做立体校正；立体校正分为三步进行：获取左右图像对；畸变矫正和对准校正；利用标定获得的畸变参数，即可完成对摄像机畸变的校正；

所述对准校正包括：以基线方向为X轴，任意建立坐标系，在该坐标系下，图像在的Y轴方向都将是平行对齐的，将这个坐标系的三个基向量组合起来，构造一个旋转矩阵R_rect，通过该矩阵变换使双目图像在极线方向水平对准，所述旋转矩阵R_rect的计算过程如下：

首先以主点(u₀,v₀)作为左图像的原点，计算基线方向的单位向量；极点连线的方向其实也就是投影中心之间的平移向量方向：

下一个向量e₂则必须与e₁正交，选择同时与主光轴方向正交的单位向量；通过计算e₁和主光轴方向的叉积来获得，然后归一化得到：

第三个向量只需要与e₁和e₂都正交即可，因此只需要通过e₁和e₂叉积得到：

e₃＝e₂×e₁(33)

因此，使双目图像在极线方向水平对准的矩阵R_rect如下：

R_rect＝[e₁^Te₂^Te₃^T]^T(34)

通过公式(33)和公式(34)的两步旋转，就可以使双目图像极线变成水平，且极点在无穷远处；两台摄像机的行对准就可以通过以下变换来实现：

此时的双目图像在数学意义上就是前向平行对准的。