[发明专利]一种VR头戴设备的手势跟踪方法和VR头戴设备有效
| 申请号： | 201611236595.6 | 申请日： | 2016-12-28 |
| 公开（公告）号： | CN106648103B | 公开（公告）日： | 2019-09-27 |
| 发明（设计）人： | 仇璐;张绍谦;张超 | 申请（专利权）人： | 歌尔科技有限公司 |
| 主分类号： | G06F3/01 | 分类号： | G06F3/01;G06K9/00 |
| 代理公司： | 青岛联智专利商标事务所有限公司 37101 | 代理人： | 周容 |
| 地址： | 266104 山东省青岛*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种VR头戴设备的手势跟踪方法，包括以下步骤：采集多个训练图像；分离手部深度图像；标记三维手势，形成原始点云；计算法向量和曲率，去均值归一化；搭建CNN网络，CNN网络的输入端分别输入多法向量、曲率和手部深度图像，输出端输出包括掌心在内的多个关节点的三维坐标；训练后的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，特征提取器提取并处理实时动作深度图像中所包含的三维手势的法向量、曲率和手部深度图像信息，输出包含掌心的多个关节点的三维坐标，并对识别出的三维手势进行跟踪。还公开一种VR头戴设备。本发明融合了三维特征信息，具有模型识别率高的优点。 | ||
| 搜索关键词： | 深度图像 头戴设备 曲率 手势 三维 法向量 特征提取器 三维坐标 实时动作 手势跟踪 关节点 掌心 手部 采集 深度图像信息 深度摄像头 模型识别 三维特征 训练图像 输出 网络 分离手 归一化 输出端 输入端 点云 融合 跟踪 | ||
【主权项】：
1.一种VR头戴设备的手势跟踪方法，其特征在于,包括以下步骤：通过摄像头采集得到多个训练图像；从多个所述训练图像中分离多个手部深度图像；对多个所述手部深度图像中的三维手势的关键点进行标记，利用手部深度图像形成原始点云数据，所述关键点包括掌心和多个手部关节；计算根据手部深度图像形成的原始点云数据的法向量和曲率；将法向量、曲率和手部深度图像去均值归一化到[‑1,1]；搭建CNN网络，所述CNN网络的输入端分别输入根据多个训练图像生成并归一化后的法向量、曲率和手部深度图像三路数据，输出端输出包括掌心在内的多个关节点的三维坐标；训练完成的CNN网络作为三维手势的特征提取器，通过深度摄像头采集实时动作深度图像，所述特征提取器提取所述实时动作深度图像中的法向量、曲率和手部深度图像信息，输出实时动作深度图像中三维手势的三维坐标，处理器对识别出的三维手势进行跟踪。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于歌尔科技有限公司，未经歌尔科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611236595.6/，转载请声明来源钻瓜专利网。
- 上一篇：家用电器的自检控制方法、装置和家用电器
- 下一篇：一种点读方法和点读装置
