[发明专利]基于多个输入的手部状态重建

说明书

描述了基于多个输入来动态重建手部状态信息的方法和系统。该方法和系统使用来自多个输入的数据，这些输入包括布置在一个或更多个可穿戴设备上的多个神经肌肉传感器和一个或更多个摄像机。多模态数据被提供作为经训练的统计模型的输入。该方法和系统基于来自多个输入的数据，确定肌肉骨骼表示的两个或更多个连接节段之间的空间关系的估计和表示，以及描述由该肌肉骨骼表示的至少一个节段施加的力的力信息。该方法和系统还至少部分地基于位置信息和力信息来更新计算机化的肌肉骨骼表示。

相关申请

本申请根据35U.S.C.§119(e)要求于2018年1月25日提交的题为“HANDSTATERECONSTRUCTION BASED ON MULTIPLE INPUTS”、序列号为62/621,818的美国临时申请的优先权，其全部内容通过引用结合于此。

背景

在生成人体的肌肉骨骼表示(musculoskeletal representation)的一些计算机应用中，希望应用知道用户身体的空间定位、定向(orientation)和移动，以提供身体移动的现实表示。例如，在虚拟现实(VR)环境中，跟踪用户手部的空间位置使得应用能够在VR环境中表示手部运动，这允许用户(例如，通过抓握或操纵)与VR环境中的虚拟对象进行交互。使用可穿戴传感器跟踪用户身体移动的一些现有技术包括，使用从附着于用户身体不同部位的多个惯性测量单元(IMU)获得的信息，以及使用外部成像传感器(例如，固定位置摄像机)来重建用户身体部位的位置和定向。

概述

一些实施例涉及预测关于用户手臂和/或手的部分的定位和移动的信息，用户手臂和/或手的部分被表示为多节段铰接刚体系统(multi-segment articulated rigidbody system)，其具有连接刚体系统的多个节段的关节(joint)。当用户执行一个或更多个移动时，由放置在用户身体上多个定位处的可穿戴的神经肌肉传感器记录的信号作为输入被提供给统计模型，该统计模型被训练来预测与基于计算机的肌肉骨骼表示中的多个刚性节段相关联的位置(例如，绝对位置、相对位置、定向)和力的估计，该基于计算机的肌肉骨骼表示与手部相关联。与和手部相关联的肌肉骨骼表示的节段相关联的位置信息和力信息的组合在本文中被通俗地称为肌肉骨骼表示的“手部状态(handstate)”。当用户执行不同的移动时，经训练的统计模型将由可穿戴的神经肌肉传感器记录的神经肌肉信号解析为位置和力估计(手部状态信息)，这些估计用于更新肌肉骨骼表示。随着神经肌肉信号被连续记录，肌肉骨骼表示被实时更新，并且手部的(例如，在虚拟现实环境内的)视觉表示基于当前的手部状态估计被可选地再现。

根据一些实施例，系统被配置成使用摄像机信息来改善对神经肌肉信号的解析以及它们与移动和力生成的关系。例如，内向外摄像机(inside-out cameras)可以与神经肌肉信号关联地使用，以更准确地表示移动和/或力的表示。例如，摄像机信息(例如图像、视频、图像的时间序列等)可以用于通过为神经肌肉信号数据提供基础真实标签(groundtruth label)来校准神经肌肉系统。在一个实现中，系统可以使用通过显示器或扬声器提供给用户的提示(例如，手势、单词(例如，“拳头”)、音频(“做竖起大拇指的手势”))来执行校准操作，其中用户被要求将他们的手部姿势与所投影的手的手部姿势相匹配，摄像机潜在地帮助检测匹配何时发生。此外，其他类型的摄像机数据可以用于校准神经肌肉系统，例如使用摄像机数据校准骨骼几何结构的几何模型。例如，可以使用摄像机数据来验证和/或校正几何模型的手指长度。在这种情况下，图像可以被转换成节段和关节的数学排列。

在一些实施例中，可以使用神经肌肉信号、摄像机数据或两者来提供肌肉骨骼表示的实时确定。例如，由于EMG和IMU信息可以用于确定更准确的肌肉骨骼表示，诸如摄像机数据的其他数据可以用于创建更准确且一致的表示。此外，应当理解，可以使用多个信号(包括但不限于一个或更多个摄像机、来自一个或更多个设备的神经肌肉信号以及其他类型的传感器数据)来确定实时肌肉骨骼表示。其他传感器数据(包括IMU和摄像机数据)可以用于训练并改进统计模型，以及改进骨骼位置的实时表示。