[发明专利]一种基于级联深度神经网络的实时手势追踪方法

权利要求书

1.一种基于级联深度神经网络的实时手势追踪方法,其特征在于包括以下步骤：

第一步，通过TOF摄像头及彩色摄像头获取图像数据，并通过图像数据流进入图像预处理器；

第二步，图像预处理器对图像数据进行预处理操作，然后将预处理后的数据通过预处理数据流送入初级特征提取器；

第三步，初级特征提取器将对预处理后的数据进行基本特征提取，形成初级特征，并将初级特征通过初级特征流送入级联人工神经网络系统；

第四步，级联人工神经网络系统进行进一步的高级特征抽象处理，形成高级抽象特征，并通过高级抽象特征流传递至模式匹配器；

第五步，模式匹配器将会根据特征抽象处理后的高级抽象特征，进行模糊的模式匹配，并将模式匹配的相关数据通过手势模式数据流的方式传递至姿态处理中心；

第六步，最后通过姿态处理中心计算手部的二十六个节点的所有位置得出手部姿态和空间位置数据，并通过手势姿态数据流将其传递给计算机应用。

2.根据权利要求1所述的基于级联深度神经网络的实时手势追踪方法，其特征在于：第二步中的预处理操作包括图像数据的接收、图像数据分块、提取边缘、提取角点、降采样和构建数据包。

3.根据权利要求2所述的基于级联深度神经网络的实时手势追踪方法，其特征在于：所述提取边缘具体为利用拉普拉斯边缘提取器提取边缘；提取角点具体为利用Harris角点提取器提取角点。

4.根据权利要求1所述的基于级联深度神经网络的实时手势追踪方法，其特征在于：第三步中的基本特征提取包括解开数据包、尺度不变特征提取、特征筛选形成初级特征和构建初级特征数据包。

5.根据权利要求4所述的基于级联深度神经网络的实时手势追踪方法，其特征在于：所述尺度不变特征提取具体为使用SIFT算法进行提取。

6.根据权利要求1所述的基于级联深度神经网络的实时手势追踪方法，其特征在于：第四步中的高级特征抽象处理包括解开初级特征数据包、级联人工神经网络系统抽取特征、高级抽象特征筛选形成高级抽象特征和构建高级特征数据包。

7.根据权利要求6所述的基于级联深度神经网络的实时手势追踪方法，其特征在于：所述级联人工神经网络系统抽取特征包括数据并行分解、最大池化处理、图像卷积处理、卷积图像层级化处理和数据正规化处理；最后通过完全链接层与高级抽象特征筛选交互。