[发明专利]一种工业双目摄像头与红外热成像仪联合标定的装置和方法

权利要求书

1.一种工业双目摄像头与红外热成像仪联合标定的方法，其特征在于：包括以下步骤：

第一步：以标准格式的张正友标定板内角点为圆心，开设至少一个小孔，小孔内安装白炽灯泡，白炽灯泡的底座固定连接调节装置，调节装置与电源连通；

第二步：将工业双目摄像头与红外热成像仪固定在传感器支架上，传感器支架架设在张正友标定板上方，保证工业双目摄像头与红外热成像仪对标定的装置拍摄时角度重合；

第三步：不断转换标定装置的角度和位置，保证拍摄到标定装置各个不同旋转与倾斜角度的照片，在采集20张照片后，停止拍摄；工业双目摄像头拍摄到的图像是在内角点位置安装白炽灯泡的张正友标定板，红外热成像仪拍摄的图像是具有热源的小灯泡；

第四步：求取白炽灯泡的圆心点与原标准格式的张正友标定板内角点的偏移矩阵P；

第五步：载入20张照片，以标定装置白炽灯泡的圆心作为像点与物点的定位点，利用现有的标定工具箱可求出两者之间的内参矩阵和外参矩阵；

前述的第四步中，包括以下步骤：

步骤4A：用最小二乘法拟合直线的方法，拟合出张正友标定板黑白棋盘格交界处直线，并由此求出原张正友标定板内角点处坐标矩阵；

步骤4B：用最小二乘法拟合椭圆的方法，拟合出白炽灯泡圆形轮廓与圆心点坐标矩阵；

步骤4C：根据内角点处坐标矩阵与圆心点处坐标矩阵，既可求出偏移矩阵P；

前述的第五步中，包括以下步骤：

步骤5A：计算单应矩阵H，

[x y 1]^T＝P[x' y' 1]^T，

H＝[h₁ h₂ h₃]＝λK[r₁ r₂ t]，

其中S为尺度因子，K为双目摄像头内参矩阵；[u v 1]^T为标定板平面上点投影到图像平面上对应点齐次坐标；[r₁ r₂ r₃ r₄]为双目摄像头坐标系相对于世界坐标系的旋转矩阵与平移矩阵，即双目摄像头外参矩阵；[X Y 0 1]^T为世界坐标系，且假设Z＝0的齐次坐标；[xy 1]^T为新型标定板平面点的齐次坐标；[x' y' 1]^T为原标准格式的张正友标定板平面点的齐次坐标；H为单应矩阵，即标定板平面与图像平面的转化矩阵；

步骤5B：求内参的约束条件，

由于旋转矩阵的性质：则

可得两个约束条件：

步骤5C：求双目摄像头内参矩阵K，

定义为：

其中：(u₀,v₀)为像主点坐标；β为焦距与像素横纵比的融合；γ为径向畸变参数；

由上式：B为对称矩阵，故可写成：b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，可以推导得到：

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]

利用约束条件可得：

通过上式，需要至少三幅包含棋盘格的图像，就可得B，然后通过cholesky分解，可得到相机内参矩阵K；

步骤5D：计算外参矩阵，

r₃＝r₁×r₂

t＝λK^-1h₃；

步骤5E：最大似然估计，使用最大似然的思想优化得到的结果为下式取最小值

采集20幅包含棋盘格的图像进行标定，每个图像里面有棋盘格角点9个，令第i幅图像上的角点M_j在上述计算得到的摄像机矩阵下图像上的投影点为：

m′(K,R_i,t_i,M_j)＝K[R|t]M_j

其中R_i和t_i是第i幅图对应的旋转矩阵和平移向量，角点m_ij的概率密度函数为：

构造似然函数：

让L取得最大值，即让下面式子最小，

步骤5F：径向畸变估计，

其中，(u,v)是理想无畸变的像素坐标，是实际畸变后的像素坐标，(u₀,v₀)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标，k₁和k₂为前两阶的畸变参数，

化为矩阵形式：

记做：Dk＝d，则可得：k＝[k₁ k₂]^T＝(D^TD)^-1D^Td，计算得到畸变系数k。