[发明专利]一种VR头戴设备的手势跟踪方法和VR头戴设备

说明书

本发明提供一种VR头戴设备的手势跟踪方法，包括以下步骤：采集多个训练图像；分离手部深度图像；标记三维手势，形成原始点云；计算法向量和曲率，去均值归一化；搭建CNN网络，CNN网络的输入端分别输入多法向量、曲率和手部深度图像，输出端输出包括掌心在内的多个关节点的三维坐标；训练后的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，特征提取器提取并处理实时动作深度图像中所包含的三维手势的法向量、曲率和手部深度图像信息，输出包含掌心的多个关节点的三维坐标，并对识别出的三维手势进行跟踪。还公开一种VR头戴设备。本发明融合了三维特征信息，具有模型识别率高的优点。

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种VR头戴设备的手势跟踪方法以及VR头戴设备。

背景技术

虚拟现实技术是仿真技术的一个重要分支方向。虚拟现实技术使用计算机，利用相关技术和软、硬件工具生成实时动态的、三维立体而且纹理逼真的图像和场景，并使其可以模仿人类的各种感知，并利用传感器与用户进行交互。从1963年虚拟现实技术萌芽至今，虚拟现实技术的理论已经比较完善，而且近年来，虚拟现实技术在军事仿真、娱乐游戏、医疗、建筑等多个行业中得到广泛和深入的研究和使用。

在现有的虚拟现实设备的人机交互过程中，除了传统的按键操作之外，还有手势识别功能，VR头戴设备通过设置在设备中的摄像头采集视野中的图像，并从图像中分离识别手部图像，对手部图像进行模型匹配来判别手势类别或者跟踪手势坐标。其中分离识别动作建立模型训练的基础上且通常采用卷积神经网络进行手势数据训练。

在现有的虚拟现实设备跟踪手势坐标的过程中，通常是采集手势深度数据并利用CNN进行回归训练得到模型。而现有CNN网络的训练核心是对二维图卷积提取特征，仅仅利用手势深度数据进行训练，所获得的信息可以说是从二维平面上提取的信息，手部的三维空间立体结构基本没有得到有效利用，由于CNN采集到的信息是平面信息，所以CNN的训练难度大，得到的数据误差大、跟踪的手势坐标也不够准确。

发明内容

为解决现有VR头戴设备图像采集时，手部的三维空间立体结构基本没有得到有效利用，导致数据误差大、跟踪手势坐标不准确的问题，本发明公开了一种VR头戴设备的手势跟踪方法。

一种VR头戴设备的手势跟踪方法，包括以下步骤：

通过摄像头采集得到多个训练图像；

从多个所述训练图像中分离多个手部深度图像；

对多个所述手部深度图像中的三维手势的关键点进行标记，利用手部深度图像形成原始点云数据，所述关键点包括掌心和多个手部关节；

计算根据手部深度图像形成的原始点云数据的法向量和曲率；

将法向量、曲率和手部深度图像去均值归一化到[-1,1]；

搭建CNN网络，所述CNN网络的输入端分别输入根据多个训练图像生成并归一化后的法向量、曲率和手部深度图像三路数据，输出端输出包括掌心在内的多个关节点的三维坐标；

训练完成的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，所述特征提取器提取所述实时动作深度图像中的法向量、曲率和手部深度图像信息，输出实时动作深度图像中三维手势的三维坐标，所述处理器对识别出的三维手势进行跟踪。

进一步的，计算所述原始点云数据的法向量和曲率时，使用kd-tree算法构建所述原始点云的树结构，并利用原始点云的树结构查找计算手部深度图像原始点云数据的法向量和曲率。

进一步的，利用随机森林算法将通过摄像头采集得到的多幅训练图像中的手部深度图像与背景深度数据分离；对所述手部深度图像进行降噪。

进一步的，将降噪后的手部深度图像归一化降维，生成256×256的二维图像；