[发明专利]一种可见光与红外双光相机旋转矩阵自动校准方法

权利要求书

1.一种可见光与红外双光相机旋转矩阵自动校准方法，其特征在于：其具体实现流程如下：

步骤一、标定可见光相机与红外相机的焦距；

步骤二、可见光相机到红外相机旋转矩阵的初始化：假设双目相机在装备过程中不存在误差，那么对于装备完成的双目相机设备，在世界坐标系中，可见光相机与红外相机在水平x、纵向z方向上坐标相同，仅在垂直方向y上存在差值，相机光轴平行且朝向相同，因此红外相机对于可见光相机在x、z方向上偏移量为0，在y方向的偏移量通过测量可得，其光轴在x、y、z三个方向上的相对偏角均为0；

基于双目相机在x、y、z三个方向的相对角度，经过罗德里格斯变换，可以得到红外相机相对于可见光相机的旋转矩阵，记为R，如下：

由红外相机在x、y、z方向上坐标的偏移量，可得到平移矩阵，记为T，[t₀,t₁,t₂]^T，同时结合R、T可得初始化的齐次RT矩阵，如下：

步骤三、可见光相机对每一帧进行人脸检测，如果检测出人脸框，则将当前帧的全部人脸框坐标、以及当前帧的时间信息打包发送给红外相机；

步骤四、人脸运动状态判断与可见光相机人脸框坐标转换；所述步骤四中人脸运动状态判断如下：红外相机接收可见光相机发送过来的每一帧人脸框坐标和帧时间包，并保持最新的三帧内容，根据最新三帧的可见光人脸框坐标与RT矩阵，计算出可见光相机中人脸框在红外相机坐标系中的坐标；在可见光相机人脸框转换坐标后的基础上，计算每一个人脸的在三帧图像上两两人脸框之间的iou，如果其中最大值小于设定阈值，则认为人脸为静止状态，否则，认为人脸为运动状态，并将该人脸相应的框坐标去掉；对于判定为静止的人脸，对三帧上的框坐标取平均，作为该人脸的坐标，记为Vb；

所述步骤四中计算出可见光相机中人脸框在红外相机坐标系中的坐标，可见光相机人脸框坐标转换过程如下：

1)将可见光人脸检测框转换为中心点坐标与宽和高的形式，根据三角形相似性原理，用实际人脸宽度、人脸框像素宽度和可见光焦距，可以求得人脸在可见光相机坐标系中z方向的坐标，记为z₀；

2)构建人脸框的像素坐标乘以z₀的矩阵，并用该矩阵乘以可见光相机焦距矩阵的逆矩阵，得到可见光相机坐标系中的三维人脸坐标，记为C_v；

3)将C_v乘以旋转矩阵RT，得到红外相机坐标系中三维人脸坐标，记为C_h；

将C_h乘以红外相机的焦距矩阵，并做归一化，即可得到人脸在红外相机中的像素坐标；

步骤五、可见光转换人脸框与红外人脸框的人脸匹配；

所述步骤五中从红外相机中获取当前帧的人脸检测框，如果红外相机当前帧的时间与接收自可见光相机最新帧的时间小于设定时间，则进行人脸匹配，分别将红外视频帧与可见光视频帧中的人脸坐标框Vb的宽和高向外扩大0.3倍，以增加同一人脸在两个相机中的检测框产生部分重叠的几率；计算红外帧中人脸框与Vb的iou矩阵，在该iou矩阵中，挑选出红外人脸框与Vb中仅和对方中的一个框的iou大于零的人脸框对，该人脸框对即为同一人脸在红外相机和可将光相机中检测框；

步骤六、计算人脸框对的匹配误差，并反向修正旋转矩阵：计算全部的人脸框对的iou误差，相加作为总误差：

1)计算出来的总误差是否同时满足小于设定的误差阈值，且小于历史最小误差+0.05，如果满足条件，则不进行R矩阵更新，否则，进行反向梯度计算，得到总误差在R矩阵上的梯度值R_grad；

2)根据误差大小计算学习率，误差越大学习率相对越大，反之，学习率较小，将计算的学习率与设定的学习率比较，取其中较大者，记为lr，然后对R矩阵，根据公式R＝R-R_grad*lr进行更新；

3)接着判断更新次数是否达到本轮更新的最大值，若小于等于最大值，则根据误差判断是否需要进一步重复1)步骤，反之，则停止更新。

2.根据权利要求1所述的一种可见光与红外双光相机旋转矩阵自动校准方法，其特征在于：所述步骤一中打印有棋盘格的标定板，用可见光相机在不同距离、不同角度拍摄该标定板，拍摄图片20-30张左右，使用张正友棋盘格标定法获得可见光相机的焦距；对于红外相机，使用塑料材质的白色洞洞板，放置在平面热源上，使用红外相机以同样方法拍摄该洞洞板，对拍摄图片取反色，使得洞洞区域为黑色，板子对应为白色，使用张正友棋盘格标定法获取红外相机的焦距。