[发明专利]基于异构数据融合的传感器协同手势识别方法及系统

权利要求书

1.一种基于异构数据融合的传感器协同手势识别方法，其特征在于，包括：

步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型；

步骤2，利用所述手势动作识别模型构建阈值模型；

步骤3，基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别。

2.如权利要求1所述的多传感器协同手势识别方法，其特征在于，所述步骤1包括：

步骤11，通过摄像头和多个传感器检测手势动作，获得用于训练手势动作识别模型的第一样本数据，其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、三轴加速度的数据序列；

步骤12，结合所述摄像头和多个传感器的特性，对所述第一样本数据中的各个数据序列进行预处理，得到第二样本数据；

步骤13，从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量，其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征，并利用所述特征向量训练手势动作识别模型。

3.如权利要求1所述的多传感器协同手势识别方法，其特征在于，所述手势动作识别模型为左-右结构的连续隐马尔科夫模型。

4.如权利要求2所述的多传感器协同手势识别方法，其特征在于，所述步骤11中采用用户协同实现的分割方法以区分手势对应的数据序列。

5.如权利要求2所述的多传感器协同手势识别方法，其特征在于，所述步骤12中的所诉预处理包括：空闲数据和异常数据剔除以及数据平滑滤波。

6.如权利要求1所述的多传感器协同手势识别方法，其特征在于，所述步骤2中所述阈值模型是由系统中所有手势动作识别模型的隐状态完全连接的遍历结构的隐马尔可夫模型，且对于给定的一个手势动作识别模式，所述阈值模型的似然值都小于任意一个手势模式的手势动作识别模型的似然值。

7.如权利要求2所述的多传感器协同手势识别方法，其特征在于，所述步骤3包括：

步骤301，设定初始时间t=1，并将观测序列和手势栈置为空，同时将所述特征向量作为t时刻的观测值增添到观测序列中，对于隐马尔科夫模型，数据序列统称为观测序列；

步骤302，分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码，分别得到所述观测序列的似然值；

步骤303，找到所述似然值最大的第一手势动作识别模型；

步骤304，判断所述第一手势动作识别模型的似然值是否高于阈值模型的似然值；若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行步骤305；否则执行步骤306；

步骤305，将所述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回步骤11采集下一时刻的第一样本数据，否则按下述情况进行判断和操作：当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其候选终点，同时返回步骤11采集下一时刻的第一样本数据；当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间，则弹出手势栈顶缓存的手势模式，并将上述手势模式的起点的t-1时刻作为手势栈栈顶缓存的手势模式的终点，同时将上述手势模式及其候选终点压栈，,执行步骤307；

步骤306，弹出手势栈栈顶手势模式，并将t-1时刻设为该手势模式的终点，并利用韦特比回馈算法找出该手势模式的起点，然后执行步骤307；

步骤307，对手势栈弹出的手势模式的长度进行判别，如若手势模式的长度满足约束条件，那么其是一个真手势模式，执行步骤308；否则返回步骤11采集下一时刻的第一样本数据，其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度；

步骤308，根据相应的手势动作识别模型，对所述真手势模式的起点时刻和终点时刻之间的观测序列中进行标记，同时返回步骤11采集下一时刻的动作数据。