[发明专利]基于多个输入的手部状态重建

权利要求书

1.一种用于提供与手部相关联的动态更新的肌肉骨骼表示的计算机化系统，所述系统包括：

多个传感器，其包括：

多个神经肌肉传感器，其被配置成连续记录来自用户的多个神经肌肉信号，其中，所述多个神经肌肉传感器被布置在一个或更多个可穿戴设备上；以及

至少一个辅助传感器，其被配置成连续记录与用户的手部移动相关联的多个辅助信号，其中，所述至少一个辅助传感器包括被配置成捕获用户手臂和/或手的至少一部分的图像的至少一个成像传感器；以及

至少一个计算机处理器，其被编程为：

将所述多个神经肌肉信号和所述多个辅助信号作为输入提供给经训练的统计模型；

基于所述经训练的统计模型的输出来确定：

描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的位置信息；以及

描述由所述肌肉骨骼表示的至少一个节段施加的力的力信息；以及

至少部分地基于所述位置信息和所述力信息来更新所述肌肉骨骼表示。

2.根据权利要求1所述的计算机化系统，其中，与手部相关联的所述肌肉骨骼表示包括对应于连接到该手部的手臂的至少一个节段。

3.根据权利要求1所述的计算机化系统，其中，所确定的位置信息包括描述所述肌肉骨骼表示的两个或更多个连接节段之间的空间关系的关节角度集合。

4.根据权利要求1所述的计算机化系统，其中，所确定的力信息包括由所述至少一个节段施加的线性力。

5.根据权利要求1所述的计算机化系统，其中，所确定的力信息包括由所述至少一个节段施加的扭矩。

6.根据权利要求1所述的计算机化系统，其中，所确定的力信息包括挤压力信息、抓握力信息或关于共收缩力的信息。

7.根据权利要求1所述的计算机化系统，其中，所述至少一个辅助传感器包括被配置成连续记录惯性测量单元(IMU)信号的至少一个IMU传感器。

8.根据权利要求1所述的计算机化系统，其中，所述至少一个辅助传感器包括基于辐射的传感器，该传感器被配置成在辐射入射到该传感器上时进行检测。

9.根据权利要求1所述的计算机化系统，其中，所述多个神经肌肉传感器包括肌电图(EMG)传感器、肌动图(MMG)传感器、声肌图(SMG)传感器或EMG传感器、MMG传感器和SMG传感器中两个或更多个的组合。

10.根据权利要求1所述的计算机化系统，其中，所述多个神经肌肉传感器被配置成以第一采样速率连续记录所述多个神经肌肉信号，并且所述至少一个辅助传感器被配置成以第二采样速率记录所述多个辅助信号，其中，所述第一采样速率和所述第二采样速率不同，并且其中，

(1)所述多个神经肌肉信号或所述多个辅助信号中的至少一种被重新采样，使得所述多个神经肌肉信号和所述多个辅助信号以相同的速率被提供作为所述经训练的统计模型的输入；

(2)其中，所述经训练的统计模型被配置成处理异步输入；或者

(3)其中，所述经训练的统计模型包括：

第一经训练的统计模型，其被配置成以所述第一采样速率接收所述多个神经肌肉信号作为输入；

第二经训练的统计模型，其被配置成以所述第二采样速率接收所述多个辅助信号作为输入；以及

组合器，其被配置成组合所述第一经训练的统计模型和所述第二经训练的统计模型的输出，以提供所述经训练的统计模型的输出。

11.根据权利要求1所述的计算机化系统，其中，所述至少一个计算机处理器还被编程为：

对所述多个神经肌肉信号、所述多个辅助信号、或所述多个神经肌肉信号和所述多个辅助信号进行加权，其中，加权是基于与所述多个神经肌肉信号相关联的置信度和/或与所述多个辅助信号相关联的置信度。