[发明专利]一种图像处理方法、装置、电子设备及存储介质

说明书

本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质。所述方法包括：获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

目前，对于图像中的手部的检测及追踪方案大多采用单目摄像头或双目摄像头的红外图像或彩色图像，但红外图像或彩色图像都无法确定图像中的手部的准确的三维信息，从而无法做到更快速、准确的手部检测及追踪。

发明内容

本公开实施例提供一种图像处理方法、装置、电子设备及存储介质。

本公开实施例提供了一种图像处理方法，所述方法包括：获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。

在本公开的一些可选实施例中，所述获得多帧深度图像中的第一深度图像的手部的检测框，包括：响应于所述第一深度图像为所述多帧深度图像中的首帧深度图像的情况，对所述第一深度图像进行手部检测处理，获得所述第一深度图像的手部的检测框；响应于所述第一深度图像为所述多帧深度图像中的非首帧深度图像的情况，基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框；所述第二深度图像为所述第一深度图像之前的一帧图像。

在本公开的一些可选实施例中，所述基于第二深度图像中的手部的检测框，获得所述第一深度图像中的手部的检测框，包括：基于所述第二深度图像中的手部的检测框所在区域确定第一区域；所述第一区域大于所述检测框所在区域；根据所述第一区域确定所述第一深度图像中与所述第一区域的位置范围对应的手部的检测框。

在本公开的一些可选实施例中，所述对所述检测框内的深度图像进行特征提取之前，所述方法还包括：确定所述检测框内的手部的中心深度，基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像；所述对所述检测框内的深度图像进行特征提取，包括：对所述居中化处理后的深度图像进行特征提取。

在本公开的一些可选实施例中，所述确定所述检测框内的手部的中心深度，包括：基于所述第一深度图像中的手部的检测框内至少部分深度图像的深度值，确定所述手部的中心深度；所述基于所述中心深度对所述检测框内的深度图像进行居中化处理，得到居中化处理后的深度图像，包括：利用所述手部的中心深度，调整所述手部的检测框内的深度图像的深度值，得到居中化处理后的深度图像。

在本公开的一些可选实施例中，所述基于提取出的特征得到手部的关键点的三维坐标数据，包括：基于提取出的特征得到手部的关键点的二维图像坐标数据和深度数据；所述二维图像坐标数据为图像坐标系下的数据；获得采集所述多帧深度图像的图像采集设备的内部参数；基于所述二维图像坐标数据、深度数据和所述内部参数得到手部的关键点的三维坐标数据；所述三维坐标数据为相机坐标系下的数据。

在本公开的一些可选实施例中，所述方法还包括：基于手部的所述三维坐标数据确定所述手部的姿态；基于所述手部的姿态确定交互指令。

本公开实施例还提供了一种图像处理装置，所述装置包括：第一处理单元和第二处理单元；其中，

所述第一处理单元，用于获得多帧深度图像中的第一深度图像的手部的检测框；所述第一深度图像为所述多帧深度图像中的任一帧深度图像；

所述第二处理单元，用于对所述检测框内的深度图像进行特征提取，基于提取出的特征得到所述手部的关键点的三维坐标数据。