[发明专利]用于3D手部骨架跟踪的方法和系统

权利要求书

1.一种跟踪系统，其包括：

处理器；和

非暂时性计算机可读存储介质，其耦合到所述处理器且存储指令，所述指令在由所述处理器执行时，使得所述系统执行：

训练检测模型和提取模型；

捕捉物体的至少一部分的一个或多个图像；

通过经训练检测模型检测所述一个或多个图像中的每一个中的所述物体的所述部分；所述物体的所述部分包括手部；

实时跟踪所述物体的经检测部分；

通过经训练提取模型获得所述物体的经跟踪部分上的一个或多个位置的2D定位；所述一个或多个位置包括所述手部的一个或多个关节；及

至少部分基于获得的2D定位获得所述物体的所述经跟踪部分上的所述一个或多个位置的3D定位；

所述系统进一步包括使所述一个或多个位置的所述获得的3D定位受到一个或多个约束以获得所述一个或多个位置的经精化3D定位，其中所述一个或多个约束包括对应于所述手部关节中的距离的每一手部骨骼长度的正常范围；

所述系统进一步包括至少一个第一和第二优化方法，其中：

所述第一优化方法包括：

将所述经精化3D定位投影到2D以获得经投影2D定位，

比较所述经投影2D定位与所述获得的2D定位以获得第一差值，及

调整所述经精化3D定位以最小化所述第一差值，从而获得优化3D定位；且

所述第二优化方法包括：

比较所述经精化3D定位与所述获得的3D定位以获得第二差值，及

调整所述经精化3D定位以最小化所述第二差值，从而获得优化3D定位。

2.根据权利要求1所述的跟踪系统，其中：

所述一个或多个图像包括所述物体的所述部分的两个立体图像；且

所述系统进一步包括配置成捕捉所述两个立体图像的两个红外摄像机。

3.根据权利要求1所述的跟踪系统，其中训练所述检测模型和所述提取模型包括：

获得不同人的不同姿势的各种手部的图像；

根据作为手部基本真值的经验证手部数据标识获得的图像中的手部定位；及

利用所述获得的图像和所述手部基本真值训练第一机器学习模型，所述第一机器学习模型包含随机森林方法或卷积神经网络(CNN)方法中的至少一个。

4.根据权利要求3所述的跟踪系统，其中训练所述检测模型和所述提取模型进一步包括：

使用所述检测模型预测所述获得的图像中的手部定位；及

利用所述手部基本真值和所述获得的图像中的经预测手部定位训练第二机器学习模型以精化所述检测模型，所述第二机器学习模型包含随机森林方法或卷积神经网络(CNN)方法中的至少一个。

5.根据权利要求4所述的跟踪系统，其中：

所述手部定位是限定所述手部的边界框的定位；且

通过所述经训练检测模型检测所述一个或多个图像中的每一个中的所述物体的所述部分包括通过从所述第一或所述第二机器学习模型训练的所述检测模型检测所述一个或多个图像中的每一个中的所述物体的所述部分。

6.根据权利要求1所述的跟踪系统，其中实时跟踪所述物体的所述经检测部分包括基于粒子群优化(PSO)、粒子滤波器、卡尔曼滤波器、扩展卡尔曼滤波器、马尔可夫链方法或蒙特卡罗方法中的至少一个。

7.根据权利要求5所述的跟踪系统，其中训练所述检测模型和所述提取模型进一步包括：

根据作为关节基本真值的经验证关节数据标识所述获得的图像中的手部关节的定位；

使用经精化检测模式获得所述手部的裁剪区域，所述裁剪区域对应于所述边界框；及

利用所述手部的所述裁剪区域和所述关节基本真值训练第三机器学习模型，所述第三机器学习模型包含随机森林方法或卷积神经网络(CNN)方法中的至少一个。

8.根据权利要求7所述的跟踪系统，其进一步包括应用卡尔曼滤波器、扩展卡尔曼滤波器、均值滤波器或中值滤波器。