[发明专利]一种人手识别方法、装置、电子设备和存储介质

说明书

本公开关于一种人手识别方法、装置、电子设备和存储介质，方法包括：通过人手识别网络模型的特征提取器对待检测图像进行特征提取，得到图像特征；通过多任务分支网络层对图像特征进行处理，得到第一边缘特征图、第一区域特征图，以及第一关键点特征图；通过回归层对第一边缘特征图、第一区域特征图与第一关键点特征图的相加结果进行回归，得到表示待检测图像中人手姿态的第一姿态参数和表示待检测图像中人手形状的第一形状参数；基于第一姿态参数和第一形状参数，通过MANO网络生成待检测图像中人手的三维模型。采用本公开，通过一个网络模型识别出人手边缘、人手区域、二维人手关键点，并得到人手的三维模型，能够提高人手识别的效率。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种人手识别方法、装置、电子设备和存储介质。

背景技术

随着互联网技术的发展，对图像中的人手进行识别也应用越来越广泛，比如应用在：虚拟/增强现实、人机交互、动作识别、辅助驾驶等领域。

对图像中的人手进行识别包括多个识别任务，包括识别出图像中的人手边缘、识别出图像中的人手区域、识别出图像中的二维人手关键点，及对图像中的人手进行三维建模。目前，现有技术中为了完成识别人手边缘、识别人手区域、识别二维人手关键点，及对图像中的人手进行三维建模的任务，通常需要对每个识别任务单独建立一个网络模型进行识别。例如，分别通过人手边缘识别网络模型识别图像中的人手边缘，通过人手区域识别网络模型识别图像中的人手区域，通过二维人手关键点识别网络模型识别图像中的二维人手关键点，通过三维重建网络模型生成图像中的人手的三维模型。

可见，相关技术中，在进行人手识别时需要构建多个网络模型，导致人手识别的效率较低。

发明内容

本公开提供一种人手识别方法、装置、电子设备和存储介质，通过一个网络模型识别出图像中的人手边缘、人手区域、二维人手关键点，并生成图像中的人手的三维模型，能够提高人手识别的效率。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种人手识别方法，包括：

将包含人手的待检测图像输入至预先训练的人手识别网络模型，所述人手识别网络模型包括特征提取器、多任务分支网络层、回归层、MANO网络；

通过所述特征提取器对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；

通过所述多任务分支网络层对所述图像特征进行处理，得到表示所述待检测图像中人手边缘的第一边缘特征图、表示所述待检测图像中人手区域的第一区域特征图，以及表示所述待检测图像中二维人手关键点的第一关键点特征图；

通过所述回归层对所述第一边缘特征图、所述第一区域特征图与所述第一关键点特征图的相加结果进行回归，得到表示所述待检测图像中人手姿态的第一姿态参数和表示所述待检测图像中人手形状的第一形状参数；

基于所述第一姿态参数和所述第一形状参数，通过所述MANO网络生成所述待检测图像中人手的三维模型。

可选的，所述多任务分支网络层包括编码器、边缘解码器、区域解码器和热图解码器；

所述通过所述多任务分支网络层对所述图像特征进行处理，得到表示所述待检测图像中人手边缘的第一边缘特征图、表示所述待检测图像中人手区域的第一区域特征图，以及表示所述待检测图像中二维人手关键点的第一关键点特征图，包括：

通过所述编码器对所述图像特征进行编码，得到所述待检测图像的高层图像语义信息；

通过所述边缘解码器，对所述高层图像语义信息进行解码，得到表示所述待检测图像中人手边缘的第一边缘特征图；通过所述区域解码器，对所述高层图像语义信息进行解码，得到表示所述待检测图像中人手区域的第一区域特征图；通过所述热图解码器，对所述高层图像语义信息进行解码，得到表示所述待检测图像中二维人手关键点的第一关键点特征图。