[发明专利]手部三维模型的重建方法、装置、电子设备及存储介质

说明书

本公开关于计算机视觉领域，公开一种手部三维模型的重建方法、装置、电子设备及存储介质，用以提高手部三维模型的重建效率。本公开实施例通过单个RGBD相机采集目标对象的手部区域，得到手部区域的对应的RGB图像和深度图像；根据RGB图像和深度图像确定手部区域中手部关键点的三维坐标信息；并基于手部关键点的三维坐标信息进行几何标定，得到手部几何轮廓的形状参数；从RGB图像中提取手部区域的纹理，生成皮肤纹理图；根据形状参数以及皮肤纹理图生成手部三维模型。由于基于单个RGBD相机进行手部三维模型重建简化手部三维模型重建流程；并且采用本公开实施例重建的手部三维模型的方式生成的手部三维模型更为生动、细节更为丰富。

技术领域

本公开关于计算机视觉领域，特别关于一种手部三维模型的重建方法、装置、电子设备及存储介质。

背景技术

近些年来，由于三维传感器，以及增强现实(Augmented Reality，AR)、虚拟现实(Virtual Reality，VR)、游戏和动画等三维应用场景的快速发展，使三维视觉的应用逐渐普及，根据图像数据重建三维模型是计算机视觉的一个重要应用方向。

在AR、VR、游戏和动画等领域中，需要根据单视图或者多视图的二维图像重建三维动画。为了生成更加真实的包含人物手部的动画，提升用户的使用效果，需要构建人体手部的三维模型。然而，在AR、VR、游戏和动画等领域中，构建人体手部的三维模型的方式大多需要专业的动画师使用专门的三维软件进行人工设计。这种人体手部的三维模型的构建方式效率较低。

发明内容

本公开提供一种手部三维模型的重建方法、装置、电子设备及存储介质，用以提高手部三维模型的重建效率。

根据本公开实施例的第一方面，提供一种手部三维模型的重建方法，包括：

通过单个RGBD相机采集目标对象的手部区域，得到所述手部区域的对应的RGB图像和深度图像；其中，所述手部区域包括手心区域和手背区域；

根据所述RGB图像和深度图像，确定所述手部区域中手部关键点的三维坐标信息；并基于所述手部关键点的三维坐标信息进行几何标定，得到所述手部区域的用于表示手部几何轮廓的形状参数；

从所述RGB图像中提取所述手部区域的纹理，生成所述手部区域的皮肤纹理图；

根据所述形状参数以及皮肤纹理图，生成手部三维模型。

一种可选的实施方式为，所述确定所述手部区域中手部关键点的三维坐标信息，包括：

根据所述RGBD相机的内部参数和外部参数，将所述RGB图像对齐到对应的所述深度图像，得到所述手部区域的与所述深度图像对齐的目标RGB图像；

根据所述手部关键点在所述目标RGB图像中的位置信息，以及所述手部关键点在所述深度图像中的深度信息，确定所述手部关键点的三维坐标信息。

一种可选的实施方式为，所述根据所述RGBD相机的内部参数和外部参数，将所述RGB图像对齐到所述深度图像，得到所述手部区域对应的与所述深度图像对齐的目标RGB图像，包括：

针对所述深度图像，根据所述RGBD相机的深度摄像头的内部参数以及所述深度图像中像素点对应的深度信息，确定所述像素点在所述深度摄像头对应的相机坐标系下的三维坐标信息；根据所述深度摄像头的外部参数和RGB摄像头的外部参数，将所述深度摄像头对应的相机坐标系下的三维坐标信息转换为所述RGB摄像头对应的相机坐标系下的三维坐标信息；将转换后的所述三维坐标信息投影至所述RGB图像，获取所述像素点在所述RGB图像的投影点的RGB值；

根据所述深度图像中像素点的位置信息以及在对应的所述RGB图像的投影点的RGB值，生成与所述深度图像对齐的目标RGB图像。