[发明专利]双目深度估计方法、装置、电子设备及存储介质

说明书

本申请提供了一种双目深度估计方法、装置、电子设备及存储介质，其中，该方法包括：获取红外IR图像对应的第一关键点特征图和彩色RGB图像对应的第二关键点特征图；获取第一关键点特征图中各第一关键点与第二关键点特征图中各第二关键点的匹配度得分；基于匹配度得分，得到IR图像和RGB图像的第一视差信息；基于第一视差信息，得到深度估计结果。本申请实施例有利于提升深度估计的精度。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种双目深度估计方法、装置、电子设备及存储介质。

背景技术

随着深度学习的发展，深度估计在计算机视觉领域有着广泛的应用，比如人脸门禁设备的识别过程中，人脸深度的估计对人脸识别精度的提升有着促进作用。常见的深度估计有基于单目的深度估计和基于双目的深度估计，特征点匹配是双目深度估计中极其重要的一项操作，在实际的应用场景中，可能会存在特征点匹配出错的情况，这就会导致深度估计的精度变差。

发明内容

本申请实施例提供了一种双目深度估计方法、装置、电子设备及存储介质，有利于提升深度估计的精度。

本申请实施例第一方面提供了一种双目深度估计方法，该方法包括：

获取红外IR图像对应的第一关键点特征图和彩色RGB图像对应的第二关键点特征图；

获取第一关键点特征图中各第一关键点与第二关键点特征图中各第二关键点的匹配度得分；

基于匹配度得分，得到IR图像和RGB图像的第一视差信息；

基于第一视差信息，得到深度估计结果。

可以看出，本申请实施例中，通过获取红外IR图像对应的第一关键点特征图和彩色RGB图像对应的第二关键点特征图；然后获取第一关键点特征图中各第一关键点与第二关键点特征图中各第二关键点的匹配度得分；基于匹配度得分，得到IR图像和RGB图像的第一视差信息；基于第一视差信息，得到深度估计结果。这样基于关键点匹配得分选取匹配的关键点对，有利于提升关键点选取的准确度，利用匹配度更高的关键点对计算视差信息，利用视差信息进行深度估计，有利于提升深度估计的精度。

结合第一方面，在一种可能的实现方式中，基于匹配度得分，得到IR图像和RGB图像的第一视差信息，包括：

将与各第二关键点的匹配度得分最高的目标第一关键点和各第二关键点确定为关键点对，得到多个关键点对；

基于多个关键点对得到第一视差信息。

本申请实施例中，选取匹配度得分最高的第一关键点与第二关键点进行匹配，有利于降低关键点匹配的错误率，从而选取出匹配度更高的关键点对，进而采用匹配度更高的关键点对计算第一视差信息，以提升第一视差信息的准确度。

结合第一方面，在一种可能的实现方式中，获取第一关键点特征图中各第一关键点与第二关键点特征图中各第二关键点的匹配度得分，包括：

计算各第二关键点对应的特征与各第一关键点对应的特征之间的特征相似度；

获取各第二关键点在RGB图像中的第一正弦位置编码；

获取各第一关键点在IR图像中的第二正弦位置编码；

采用第一正弦位置编码和第二正弦位置编码，计算得到各第二关键点与各第一关键点之间的位置相似度；

对特征相似度和位置相似度进行加权求和，得到匹配度得分。

本申请实施例中，对各第二关键点的位置信息和各第一关键点的位置信息进行正弦位置编码，基于第一正弦位置编码和第二正弦位置编码计算各第一关键点与各第二关键点之间的位置相似度，将位置相似度和特征相似度作为关键点匹配的评分指标，而不仅仅考虑特征相似度，从而有利于提升关键点匹配的准确度。