[发明专利]一种彩色微光多目立体视觉相机及其数据融合方法

权利要求书

1.一种彩色微光多目立体视觉相机的数据融合方法，所述彩色微光多目立体视觉相机包括支架(1)、外触发器(2)、信号处理器(3)以及两组相机组件；两组所述相机组件均设置于支架(1)上，每组所述相机组件包括一台微光相机(4)和一台彩色相机(5)，所述微光相机(4)的光轴与彩色相机(5)的光轴平行，并且两组相机组件中微光相机(4)的光轴平行；所述微光相机(4)和彩色相机(5)分别通过触发线(6)与外触发器(2)连接，且二者还分别通过数据线(7)与信号处理器(3)连接；，

其特征在于，所述数据融合方法包括以下步骤：

步骤1：搭建立体视觉相机

步骤1.1以一台彩色相机和一台微光相机为一组相机组件，将两组相机组件分别安装在支架的左方和右方；两个微光相机形成微光双目相机，两个彩色相机形成彩色双目相机；

步骤1.2将两组相机组件的数据线连接至信号处理器、触发线连接到外触发器；

步骤2：标定

2.1将标定板置于立体视觉相机的视场内，左右移动标定板并使其多角度变化，立体视觉相机中的两个彩色相机和两个微光相机分别同步采集多组标定图像；

2.2以左侧的彩色相机为基准，分别获取彩色双目相机和微光双目相机的标定参数；

2.3基于获取的标定参数以及同一时刻采集的其中一组标定图像中同一个特征点的位置，计算彩色双目相机和微光双目相机对同一特征点的测距结果；

2.4根据测距结果的差异，计算彩色双目相机和微光双目相机间的平移关系；

2.5对其他每一组标定图像，重复步骤2.3和步骤2.4，分别计算相应的平移关系，将计算的所有平移关系进行平均，获得彩色双目相机和微光双目相机的平均平移关系；

2.6基于获取的平均平移关系以及标定参数，将微光双目相机的外参数转换到彩色双目相机的坐标系中，并以该坐标系为全局坐标系，该全局坐标系以左侧的彩色相机为基准；

步骤3：动态判断工作环境；

3.1按照默认白天曝光时间分别设置彩色双目相机和微光双目相机的曝光时间；

3.2分别通过彩色双目相机和微光双目相机拍摄彩色图像和微光图像，将每一幅彩色图像和微光图像分为N×M个网格进行测试，N≥8，M≥8；

3.3在其中任意一幅彩色图像中，若有占比超过60％网格的平均DN值小于该图像中最大DN值的1/5，则判断为夜间场景，否则判断为白天场景；

3.3若判断为夜间场景，仅对微光双目相机的图像进行立体匹配，然后根据所述标定参数将匹配结果转换为最终的测距结果并输出；

若判断为白天场景，分别对微光双目相机和彩色双目相机的图像进行立体匹配，然后进行步骤4；

步骤4：融合

4.1将彩色双目相机和微光双目相机的立体匹配结果转换为在全局坐标系下的测距结果；

4.2选取其中一幅彩色图像，使用三通道平均法将其转化为灰度图像，并使用阈值法寻找饱和点和黑暗点，饱和点定义为图像中灰度值高于最大灰度值90％的点，黑暗点定义为图像中灰度值低于最大灰度值20％的点；

4.3取一个与步骤4.2中彩色图像大小相同的二值图像，将步骤4.3中寻找到的饱和点和黑暗点设置为1，其他设置为0；

4.4使用半径为k的圆形或边长为2k的方形算子对二值图像进行闭运算操作，得到彩色双目相机的不可靠区域图J1，k为二值图像宽度的1‰至3‰；

4.5对于微光图像，同样重复步骤4.2至步骤4.4相同程序的操作，得到不可靠区域图J2；

4.6对于J1和J2，分别利用步骤3.2中划分的N×M个网格计算DN值为0的像素比例，作为可信度；

4.7对于同一个网格，判断彩色图像和微光图像的可信度，若彩色图像的可信度达到90％以上，则选择彩色相机的测距结果作为该网格的测距结果；否则，选择彩色图像和微光图像中可信度较高一个的测距结果作为该网格的测距结果；

4.8根据步骤4.7得到所有网格的测距结果，输出整个场景的测距结果。

2.根据权利要求1所述的一种彩色微光多目立体视觉相机的数据融合方法，其特征在于：

步骤2.1中的标定板选用棋盘格标定板。

3.根据权利要求1或2所述的一种彩色微光多目立体视觉相机的数据融合方法，其特征在于：步骤2.1中采集的标定图像数量至少为十组。