[发明专利]一种手部关键点三维坐标的识别方法及装置

说明书

本发明提供了一种手部关键点三维坐标识别方法及装置，获取目标手部框彩色图像，所述目标手部框彩色图像为经过手部检测后得到的彩色图像；将所述目标手部框彩色图像输入手部关键点三维坐标识别网络模型中进行处理，得到所述目标手部关键点的三维坐标。本发明实现了基于彩色数据的手部关键点三维坐标的识别。

技术领域

本发明涉及图像处理技术领域，更具体的，涉及一种手部关键点三维坐标的识别方法及装置。

背景技术

3D手势关键点估计为3D手势控制的关键技术，目前一种常见的基于深度图像的手部关键点坐标估计方案为：直接或间接利用一个深度摄像头通过获取其红外图和彩色图，采用RGB空间的彩色图像算法识别出图像中手部关键点的二维坐标，然后在配准后的深度图像中找对应位置的深度值，作为其深度方向的数值，或直接采用单目深度图像数据算法识别出深度图像中手部关键点的三维坐标。

但是，这种基于单目深度相机的手部关键点估计技术比较依赖深度图数据的质量，当深度图像存在较多噪声、深度图不够精准、边缘轮廓不够平滑或背景深度值存在很大干扰等情况，使得手部前景的深度数据不够准确，影响手部关键点坐标估计的准确度。且在目前存在的移动端设备中，比如手机，平板电脑等设备集成深度摄像头的产品并不多，而且大数已有的产品均存在过热，耗电严重的情况，故基于深度摄像头实现手部关键点坐标估计的用户体验较差。

发明内容

有鉴于此，本发明提供了一种手部关键点三维坐标的识别方法及装置，实现基于彩色数据的手部关键点三维坐标的识别。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种手部关键点三维坐标识别方法，包括：

获取目标手部框彩色图像，所述目标手部框彩色图像为经过手部检测后得到的彩色图像；

将所述目标手部框彩色图像输入手部关键点三维坐标识别网络模型中进行处理，得到所述目标手部关键点的三维坐标。

可选的，所述方法还包括：

获取所述手部关键点三维坐标识别网络模型的训练数据；

利用所述训练数据对预设神经网络模型进行训练，当所述预设神经网络模型输出结果的准确率大于阈值时，得到所述手部关键点三维坐标识别网络模型。

可选的，所述获取所述手部关键点三维坐标识别网络模型的训练数据，包括：

在设置好相机的方向以及相机与CG模型中的假手模型的距离的情况下，利用相机采集所述假手模型的彩色图像；

依据所述假手模型获取手部关键点的三维坐标；

对所述假手模型的彩色图像与真实场景图像进行融合，得到具有前景假手模型和真实背景的彩色图像；

根据相机的内参，在具有前景假手模型和真实背景的彩色图像中进行手部区域裁剪，得到手部框彩色图像，并对手部框彩色图像和手部关键点的三维坐标进行归一化处理，得到包括归一化处理后的手部框彩色图像和手部关键点的三维坐标的所述手部关键点三维坐标识别网络模型的训练数据。

可选的，所述获取所述手部关键点三维坐标识别网络模型的训练数据，包括：

获取深度相机采集的帧同步且配准后的深度图像和彩色图像；

利用基于深度数据的手部关键点坐标识别模型，识别所述深度图像的手部关键点的三维坐标；

在彩色图像中进行手部区域裁剪，得到与所述深度图像手部区域相对应的手部框彩色图像；

依据手部框彩色图像中心的深度值对手部关键点的三维坐标进行归一化处理，得到包括手部框彩色图像和归一化处理后的手部关键点三维坐标的所述手部关键点三维坐标识别网络模型的训练数据。