[发明专利]一种车载红外图像的场景识别及彩色化处理方法

说明书

技术领域

本发明涉及一种车载红外图像的场景识别及彩色化处理技术，属于红外图像处理领域。

背景技术

随着车辆辅助驾驶系统的逐步发展，车载红外图像得到了一定应用。相较于可见光图像，红外图像能够在夜间或雾霾天气提供更丰富的视觉信息，为安全驾驶提供保障。因此近年来红对车载红外图像处理的研究也逐渐展开。而车载红外图像的场景识别是红外图像研究的一个难点。

由车载设备直接获取的红外图像是一种灰度图像，其对比度较低，缺少丰富的纹理信息。对驾驶员而言，这样的红外图像不够直观，不利于驾驶时的快速判断。这就要求对车载红外图像进行一定的处理，使其中的信息更直观、更友好地呈现给驾驶人员。

为了充分挖掘车载红外图像中蕴含的视觉信息，需要对车载红外图像进行场景识别及彩色化处理等操作。其中，场景识别是指识别出给定图像所反映的原始物理场景中的不同物体及其在图像中对应的范围，彩色化处理是指将识别出的场景信息通过彩色图像提供给驾驶员。之后根据识别出的场景信息，综合原始红外图像的亮度信息，重新绘制出彩色化的，更接近原始场景在良好可见光条件下视觉效果的图像。

目前国内外对于车载红外图像的场景识别及彩色化处理研究还不够深入，尚无成熟的解决方案。而近年来对于可见光彩色图像的场景识别的研究有较大的进展，如Y.Yang等人完成的分层目标检测与场景分割技术，能够极为准确地识别出场景中的多个物体，并分析出各物体之间的遮挡关系；C.Liu等人完成的非参数化场景分割方法Label Transfer，采用基于GIST特征描述的通用搜索树，通过与样本库中图片的快速匹配及局部SIFT特征的比较，能够以较高的准确率识别出彩色图像中的不同场景类别；K.Karsch等人完成的基于非参数化采样的深度提取方法可准确高效地估计出彩色单目视频中重要目标的深度信息；A.Saxena等人完成的Make3D方法使用隐马尔可夫模型建立图像中超像素面板参数的模型，能够在准确估计场景深度的基础上建立出原始场景的三维模型。

红外图像与可见光图像有一定的相似性，虽然不能直接套用可见光图像领域的研究方法进行处理，但可见光图像的研究进展对红外图像处理的研究具有重要的参考意义。

发明内容

本发明的目的是参考在彩色可见光图像处理领域较为成功的Label Transfer技术进行车载红外图像的场景识别，并根据场景识别的结果对车载红外图像进行彩色化处理，以通过车辆辅助驾驶系统在恶劣视觉条件下为驾驶员提供丰富且直观的驾驶信息。

为了达到上述目的，本发明的技术方案是提供了一种车载红外图像的场景识别及彩色化处理方法，其特征在于，包括如下步骤：

步骤1、提取少量反映不同典型行车场景的车载红外图像作为样本图像，对这些样本图像中包含的场景信息进行人工标定，将这些样本图像及其对应人工标定的场景信息作为后续场景识别步骤的样本，建立人工标定样本库；

步骤2、分别提取人工标定样本库中各样本图像的特征信息，并保存至人工标定样本库中；

步骤3、提取待处理车载红外图像的特征信息，在人工标定样本库中查找与待处理车载红外图像的特征信息最为接近的K幅样本图像，定义为K近邻图像，其中与待处理车载红外图像的特征信息最接近的一幅样本图像称为最佳匹配图像，K是一个取值小于人工标定样本库中样本总数且不小于3的奇数；

步骤4、分别计算待处理红外图像及K幅近邻图像的SIFT特征，根据各近邻图像与待处理车载红外图像的SIFT特征间的能量差对K幅近邻图像重新排序，并选择其中最接近的N幅近邻图像作为候选图像，N是一个取值小于K的奇数；

步骤5、分别根据待处理车载红外图像与N幅候选图像的SIFT特征，使用SIFT-Flow算法，对SIFT特征进行密集采样，将对应的对象对齐，并将各候选图像手动标记的场景类别分配至待处理车载红外图像对应的部分；

步骤6、待处理车载红外图像的每一部分均得到了N个场景类别标记，综合这N个场景类别标记，得到待处理车载红外图像中每一部分的最终场景类别标记；

步骤7、根据步骤6中得到的场景类别标记，对待处理车载红外图像的不同场景类别赋予不同的色彩，得到彩色类别标记图；

步骤8、对原始待处理车载红外图像进行亮度提升和边缘锐化操作，得到优化灰度图；

步骤9、提取彩色类别标记图的色调层和对比度层，分别作为新的色调层和对比度层，将优化灰度图作为亮度层，重新组合成为待处理车载红外图像对应的彩色图像。

本发明的优点在于：