[发明专利]一种VR头戴设备的手势跟踪方法和VR头戴设备

权利要求书

1.一种VR头戴设备的手势跟踪方法，其特征在于,包括以下步骤：

通过摄像头采集得到多个训练图像；

从多个所述训练图像中分离多个手部深度图像；

对多个所述手部深度图像中的三维手势的关键点进行标记，利用手部深度图像形成原始点云数据，所述关键点包括掌心和多个手部关节；

计算根据手部深度图像形成的原始点云数据的法向量和曲率；

将法向量、曲率和手部深度图像去均值归一化到[-1,1]；

搭建CNN网络，所述CNN网络的输入端分别输入根据多个训练图像生成并归一化后的法向量、曲率和手部深度图像三路数据，输出端输出包括掌心在内的多个关节点的三维坐标；

训练完成的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，所述特征提取器提取所述实时动作深度图像中的法向量、曲率和手部深度图像信息，输出实时动作深度图像中三维手势的三维坐标，处理器对识别出的三维手势进行跟踪。

2.根据权利要求1所述的VR头戴设备的手势跟踪方法，其特征在于：

计算所述原始点云数据的法向量和曲率时，使用kd-tree算法构建所述原始点云的树结构，并利用原始点云的树结构查找计算手部深度图像原始点云数据的法向量和曲率。

3.根据权利要求2所述的VR头戴设备的手势跟踪方法，其特征在于：从所述训练图像中分离手部深度图像包括以下步骤：

利用随机森林算法将通过摄像头采集得到的多幅训练图像中的手部深度图像与背景深度数据分离；

对分离出的所述手部深度图像进行降噪。

4.根据权利要求3所述的VR头戴设备的手势跟踪方法，其特征在于，还包括以下步骤：

将降噪后的手部深度图像归一化降维，生成256×256的二维图像；

将降噪后的手部深度图像中的关键点进行标记，所述关键点包括多个关节点和掌心；

生成所述手部深度图像中任一点的图像坐标m＝(x，y)^T；

利用所述手部深度图像中任一点的图像中坐标m＝(x，y)^T和相机坐标系下的空间坐标的关系求解所述手部深度图像中任一点的相机坐标系中的空间坐标x_c，y_c和z_c，图像坐标和相机坐标系下空间坐标的关系如下：

其中z_c为相机的光轴；

在相机坐标系下建立对应所述手部深度图像且包括多个关节点和掌心坐标的原始点云；

利用kd-tree算法构建对应原始点云数据的树结构，并分别利用原始点云数据的树结构查找计算法向量和曲率。

5.根据权利要求4所述的VR头戴设备的手势跟踪方法，其特征在于：

搭建CNN网络之前，利用PCA算法对手部深度图像降维到96×96。

6.根据权利要求5所述的VR头戴设备的手势跟踪方法，其特征在于：

所述CNN网络包括卷积层、池化层和全连接层，其中所述卷积层包括并行的第一卷积通道、第二卷积通道和第三卷积通道，所述第一卷积通道、第二卷积通道和第三卷积通道的输入端分别输入法向量、曲率和手部深度图像。

7.根据权利要求6所述的VR头戴设备的手势跟踪方法，其特征在于：

所述第一卷积通道、第二卷积通道和第三卷积通道均包括三级卷积，且每一级卷积层后均跟随一层池化层，第一卷积通道、第二卷积通道和第三卷积通道输出至全连接层，所述全连接层包括三级全连接层。

8.根据权利要求7所述的VR头戴设备的手势跟踪方法，其特征在于，所述CNN网络的激活函数为Relu函数。

9.根据权利要求8所述的VR头戴设备的手势跟踪方法，其特征在于，所述卷积层的卷积核为5×5，所述池化层的池化核为2×2。

10.一种VR头戴设备，其特征在于，采用如权利要求1至9任一项所示的VR头戴设备的手势跟踪方法。