[发明专利]一种用于自然手势识别的多模态渐进式层级融合方法

权利要求书

1.一种用于自然手势识别的多模态混合融合方法，其特征在于，包括以下步骤：

步骤1、获取多模态手势数据集X＝{sEMG,ACC}及其手势类别标签集合Y，并对多模态手势数据集X进行预处理和特征提取，从而构建含信号特征图样本的训练集；其中，sEMG表示稀疏通道的表面肌电信号，ACC表示加速度计信号；

步骤1.1、数据预处理：

对表面肌电信号sEMG和加速度计信号ACC分别进行滤波、归一化和活动段滑窗分割，得到包含N₁个原始肌电信号样本的肌电信号样本集合S_raw和包含N₁个加速度计信号样本的加速度计信号样本集合A_raw；

步骤1.2、特征提取：

使用时频域方法提取肌电信号样本集合S_raw中每一个原始肌电信号样本的时频域特征图，得到包含N₁个肌电信号特征图样本的肌电信号训练集S＝{S_i|i＝1,2,…,N₁}；其中，表示任意第i个肌电信号特征图样本；d₁和ch₁分别表示肌电信号特征图样本的单通道特征维度和通道数；令S_i的手势类别标签为Y_i；

使用时域方法提取加速度计信号样本集合A_raw中每一个加速度计信号样本的时域特征图，得到包含N₁个加速度计信号特征图样本的加速度计信号训练集A＝{A_i|i＝1,2,…,N₁}；其中，表示任意第i个加速度计信号特征图样本；d₂和ch₂分别表示加速度计信号特征图样本的单通道特征维度和通道数；令A_i的手势类别标签也为Y_i；

步骤1.3、构建含多模态信号特征图样本的训练集{S,A,Y}，其中，Y表示肌电信号训练集S和加速度计信号训练集A中信号特征图样本的手势类别标签集合，且Y包含L种手势类别；

步骤2、构建多模态渐进式层级融合深度学习网络，包括：并行的三个子网络，分别是sEMG单模态CNN子网络、ACC单模态CNN子网络和sEMG-ACC混合模态Transformer子网络；每个子网络包括：特征提取模块和模式识别模块；

步骤2.1：将第i个肌电特征图样本S_i输入到sEMG单模态CNN子网络中，并经过特征提取模块的处理后，得到降维后的sEMG单模态特征S_i,down；

所述降维后的sEMG单模态特征S_i,down输入sEMG单模态CNN子网络中的模式识别模块中进行处理后，输出sEMG单模态CNN子网络的分类结果向量S_i,score；

步骤2.2：将第i个加速度计信号特征图样本A_i输入ACC单模态CNN子网络中，并经过所述特征提取模块的处理后，输出降维后的ACC单模态特征A_i,down；

所述降维后的ACC单模态特征A_i,down输入ACC单模态CNN子网络的模式识别模块中进行处理后，输出ACC单模态CNN子网络的分类结果向量A_i,score；

步骤2.3：由sEMG-ACC混合模态Transformer子网络中的特征提取模块得到多模态层级融合特征SA_i,K，再输入对应的模式识别模块中进行处理后，输出sEMG-ACC混合模态Transformer子网络的分类结果向量SA_i,score；

步骤3、构建模态缺失检测模块和决策层后处理机制；

步骤3.1、所述模态缺失检测模块计算第i个肌电信号特征图样本S_i的统计值，并判断第i个肌电信号特征图样本S_i的统计值是否不存在，若存在，则执行步骤4.2；否则，表示sEMG模态缺失，并用同等尺寸大小的零样本代替；

步骤3.2、判断第i个肌电信号特征图样本S_i的统计值与S的统计值均值之间的差值是否超过所设定的阈值，若超过，则表示第i个肌电信号特征图样本S_i异常，并用同等尺寸大小的零样本代替；

步骤3.3、按照步骤3.1和步骤3.2的过程对第i个加速度计信号特征图样本A_i进行处理；

步骤3.4：决策层后处理机制：

当模态缺失检测模块判定两种模态均存在时，最终的分类结果向量为R_i＝A_i,score+S_i,score+SA_i,score；

当模态缺失检测模块判定ACC模态缺失，仅存在sEMG模态时，最终的分类结果向量为R_i＝S_i,score；

当模态缺失检测模块判定sEMG模态缺失，仅存在ACC模态时，最终的分类结果向量为R_i＝A_i,score；

步骤4、网络训练：

步骤4.1、利用sofmax函数对任意一子网络的分类结果向量进行归一化，得到归一化的分类结果向量，用于构建相应子网络的叉熵损失，得到sEMG单模态CNN子网络的交叉熵损失L_{CE_S}、ACC单模态CNN子网络的交叉熵损失L_{CE_A}和融合层级特征的Transformer子网络的交叉熵损失L_{CE_F}；

步骤4.2、利用sEMG单模态CNN子网络的分类结果向量S_i,score与融合层级特征的Transforme子网络的分类结果向量SA_i,score构建所述sEMG单模态CNN子网络与sEMG-ACC混合模态Transformer子网络之间的KL散度损失函数L_{KL_S}；

利用ACC单模态CNN子网络的分类结果向量A_i,score与融合层级特征的Transformer子网络的分类结果向量SA_i,score构建ACC单模态CNN子网络与sEMG-ACC混合模态Transformer子网络之间的KL散度损失函数L_{KL_A}；使得单模态信号的分类结果的分布向多模态分类结果的分布对齐；

步骤4.3、基于训练集{S,A,Y}，利用Adam方法对所述多模态混合融合模型进行训练，并计算所述总损失函数L_total＝L_{CE_S}+L_{CE_A}+L_{CE_F}+L_{KL_S}+L_{KL_A}，直到总损失函数L_total收敛为止，从而得到训练好的自然手势分类模型用于对任意一种多模态手势数据进行手势识别。