[发明专利]增强现实深度手势网络

说明书

一种用于使用随机森林模型识别手势的计算机实现的方法包括训练随机森林模型。该方法还包括获取图像数据。该方法还包括对来自图像数据的多个像素进行聚类以生成多个聚类。此外，该方法包括使用拒绝级联来分析该多个聚类以生成多个所选择的候选。另外，该方法包括使用来自随机森林模型的分类决策树来分析该多个所选择的候选。该方法还包括使多个所选择的候选骨架化以生成一维加分支手模型。该方法还包括使用来自随机森林模型的回归决策树来分析该一维加分支手模型。

相关申请的交叉引用

本申请要求2018年6月14日提交的题为“增强现实深度手势网络(AugmentedReality Deep Gesture Network)”的第62/685,262号美国临时专利申请的优先权的权益，该申请通过引用整体并入在此。本申请还通过引用将如下专利申请整体并入：优先权日为2016年8月22日、题为“具有深度学习传感器的增强现实显示装置(Augmented realitydisplay device with deep learning sensors)”的第15/683,664号美国专利申请。

技术领域

本公开涉及使用深度学习神经网络将多个传感器输入(例如，惯性测量单元、相机、深度传感器、麦克风)组合成包括共享层和执行多个功能(例如，面部识别、位置和构建地图、对象检测、深度估计等)的上层的统一路径的增强现实系统。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现图像或其部分以它们看起来真实或者可能被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及呈现数字或虚拟图像信息，而对其它实际的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及呈现数字或虚拟图像信息，作为对用户周围的实际世界的可视化的增强。

发明内容

在一个方面，头戴式增强现实(AR)装置可以包括硬件处理器，该硬件处理器被编程为从多个传感器(例如，惯性测量单元、面向外相机、深度感测相机、眼睛成像相机或麦克风)接收不同类型的传感器数据；以及使用不同类型的传感器数据和水螅神经网络来确定多个事件中的事件(例如，面部识别、视觉搜索、手势识别、语义分割、对象检测、照明检测、同时定位和构建地图、重定位)。在另一方面，还公开了一种用于训练水螅神经网络的系统。在另一方面，公开了一种用于训练水螅神经网络或使用训练的水螅神经网络来确定多个不同类型的事件中的事件的方法。

在一个实施例中，一种用于使用随机森林模型来识别手势的计算机实现的方法包括训练随机森林模型。该方法还包括获取图像数据。该方法还包括对来自图像数据的多个像素进行聚类以生成多个聚类。而且，该方法包括使用拒绝级联(rejection cascade)来分析该多个聚类以生成多个所选择的候选。另外，该方法包括使用来自随机森林模型的分类决策树来分析多个所选择的候选。该方法还包括骨架化多个所选择的候选以生成一维加分支(one dimension plus branches)手模型。该方法还包括使用来自随机森林模型的回归决策树来分析该一维加分支手模型。

在一个或多个实施例中，使多个所选择的候选骨架化包括使用距离变换并对距离变换的结果进行过滤。使多个所选择的候选骨架化可以包括使用图形工具。使多个所选择的候选骨架化可以包括标记多个所选择的候选的部分。多个所选择的候选的部分可以包括手的关节。使多个所选择的候选骨架化可以减少由回归决策树进行分析的锚点的数量。使多个所选择的候选骨架化可以提高计算机实现的方法的速度，并且可以提高计算机实现的方法的准确性。

在一个或多个实施例中，训练随机森林模型包括标记和手动验证。训练随机森林模型可以包括随机地选择多个图像特征并且使用所选择的多个图像特征来构建决策树。训练随机森林模型可以包括使用热敏相机来获取手的训练图像。训练随机森林模型还可以包括使用温度调节物质。热敏相机可以是高光谱相机。