[发明专利]一种图像处理的方法和设备

说明书

本发明提供了一种图像处理的方法，包括：获取第一图像和第二图像；对第一图像和第二图像，分别计算获得图像的梯度显著性特征图；根据所述第一图像和第二图像的梯度显著性特征，将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图；根据所述第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。本发明提高了多源图像融合的成功率，并改善了融合图像的质量。

技术领域

本发明涉及信息处理领域，尤其涉及一种图像处理的方法和设备。

背景技术

在安防监控等场景中，单一的可见光传感器很难满足低照度、雾霾等场景下的信息采集需求，而近红外、热红外、动态视觉、多光谱、高光谱等各种传感器可以作为可见光传感器的补充。通过在同一平台或设备上同时配置可见光传感器与其他类型传感器，并将它们获取的图像信息进行融合，可以输出噪声小、对比度高的彩色图像，并可以提供额外的场景分类信息。

在多个传感器情况下，由于不同传感器的位置差异，从它们获取的多源图像中，相同物体的像素位置存在差异。目前常用的做法是对多源图像进行特征点匹配后再进行融合。

然而，现有技术中融合的图像会有明显伪影，而且匹配的成功率低，从而降低了融合图像的质量。

发明内容

本发明实施例提供一种图像处理的方法和设备，提高多源图像融合的成功率，并改善融合图像的质量。

第一方面，本发明实施例提供一种图像处理的方法，包括：获取第一图像和第二图像；对第一图像和第二图像，分别计算获得图像的梯度显著性特征图；根据所述第一图像和第二图像的梯度显著性特征，将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图；根据所述第一图像的稠密视差图，将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合。

上述方法利用多源图像间纹理和轮廓的相关性，通过提取梯度显著性特征解决了不同传感器数据亮度分布差异导致的特征无法匹配问题，提高了多源图像融合的成功率，并改善了融合图像的质量。

在一个可能的设计中，所述计算获得图像的梯度显著性特征图包括：利用梯度算子提取图像中每个波段的垂直梯度和水平梯度，根据所述垂直梯度和水平梯度，计算出图像中每个波段的梯度显著性特征图；对各个波段的梯度显著性特征图中每个像素进行加权平均得到图像的梯度显著性图。

在另一个可能的设计中，在获取第一图像和第二图像后，调整所述第一图像或/和第二图像，使调整后的第一图像和第二图像只存在水平方向视差。

在另一个可能的设计中，所述将第一图像与第二图像进行特征匹配，得到第一图像的稠密视差图包括：将第一图像中的任一个匹配单元，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值。

在另一个可能的设计中，所述匹配单元为所述第一图像中每个像素的邻域，对每个像素的邻域执行特征匹配后得到的视差值作为此像素的视差值，对第一图像的所有像素进行所述特征匹配得到第一图像的稠密视差图。

在另一个可能的设计中，所述第一图像被分割为多个超像素；所述匹配单元为所述分割后的超像素，对第一图像的每个超像素，在第二图像中沿着视差方向搜索，得到使特征差异最小的视差值，作为所述超像素内的所有像素的视差值。

在另一个可能的设计中，所述第一图像为近红外图像，所述第二图像为彩色可见光图像；所述将与第一图像的像素对应的第二图像的像素进行视差平移，并与所述第一图像融合具体包括：根据稠密视差图，对近红外图像中的每个像素，将其在彩色图像中对应像素的颜色信息根据对应视差值平移后作为融合图像的颜色信息，将彩色图像对应像素的亮度值与近红外图像的亮度值加权平均后作为融合图像的亮度信息。