[发明专利]一种基于面颈部表面肌电的无声语音识别方法

权利要求书

1.一种基于面颈部表面肌电的无声语音识别方法，其特征在于，包括以下步骤：

步骤一、使用高密度电极阵列采集用户无声表达各单词时所产生的表面肌电信号；再利用所述高密度电极阵列中变化趋势较大且信噪比较高的m个通道对任一单词所对应的所有表面肌电信号进行数据分段，从而提取出表征相应单词肌肉活动的多个有效肌电数据样本；然后按照所述高密度电极阵列中各个通道间的位置关系，对每个有效肌电数据样本进行通道重排列；对重排列后的肌电数据样本均进行滑窗，并对处于每个滑窗内的肌电数据均提取多个肌电特征，从而得到一个样本的多个二维肌电特征矩阵，并拼接成高密度表面肌电图像即sEMG图像；进而得到相应单词的所有样本所对应的高密度sEMG图像；最终得到各单词的所有样本的高密度sEMG图像集所构成的源域数据库；

步骤二、利用分立电极采集相同用户无声表达相同单词时所产生的表面肌电信号，并按照步骤一的过程进行处理，从而得到通道稀疏的sEMG图像集并构建目标域数据库；

步骤三、构建基于卷积神经网络CNN的单词分类深度神经网络；

所述单词分类深度神经网络是由n个卷积-池化块、压平层、k个全连接层和softmax层构成；

每个卷积-池化块包括一个卷积层，一个激活层和一个池化层；且所述激活层中采用ReLU激活函数进行处理；

第n个卷积-池化块的输出通过压平层平展成一维向量，并输入到k个全连接层中，最后通过隐含单元数与单词类别数相等的softmax层输出分类结果；所述全连接层的激活函数选择Tanh函数；

步骤四、基于源域数据库的高密度sEMG图像，选择Adam作为网络训练的优化器，并利用有监督学习方式训练所述单词分类深度神经网络，从而得到训练后的单词分类深度神经网络；

步骤五、使用迁移学习方法对训练后的单词分类深度神经网络进行校准；

步骤5.1、获取所述训练后的单词分类深度神经网络的网络结构和网络权重；

步骤5.2、根据分立电极在所述高密度电极阵列中的空间分布信息，将高密度sEMG图像中对应分立电极通道的数据替换为相应通道稀疏的sEMG图像的数据，其他通道的数据舍弃并以补零填充，从而完成迁移，并得到目标域数据库的校准集；

步骤5.3、使用所述目标域数据库的校准集对训练后的单词分类深度神经网络进行再训练，更新网络权重，从而得到校准后的单词分类深度神经网络；

步骤六、使用校准后的单词分类深度神经网络对相同用户使用分立电极采集的表面肌电信号进行无声语音指令的识别。

2.一种基于面颈部表面肌电的无声语音识别方法，其特征在于，

步骤一、使用高密度电极阵列采集多个不同用户无声表达各单词时所产生的表面肌电信号；再利用所述高密度电极阵列中变化趋势较大且信噪比较高的m个通道对任一单词所对应的所有表面肌电信号进行数据分段，从而提取出表征相应单词肌肉活动的多个有效肌电数据样本；然后按照所述高密度电极阵列中各个通道间的位置关系，对每个有效肌电数据样本进行通道重排列；对重排列后的肌电数据样本均进行滑窗，并对处于每个滑窗内的肌电数据均提取多个肌电特征，从而得到一个样本的多个二维肌电特征矩阵，并拼接成高密度表面肌电图像即sEMG图像；进而得到相应单词的所有样本所对应的高密度sEMG图像；最终得到各单词的所有样本的高密度sEMG图像集所构成的源域数据库；

步骤二、利用分立电极采集一个新用户无声表达相同单词时所产生的表面肌电信号，并按照步骤一的过程进行处理，从而得到通道稀疏的sEMG图像集并构建目标域数据库；

步骤三、构建基于卷积神经网络CNN的单词分类深度神经网络；

所述单词分类深度神经网络是由n个卷积-池化块、压平层、k个全连接层和softmax层构成；

每个卷积-池化块包括一个卷积层，一个激活层和一个池化层；且所述激活层中采用ReLU激活函数进行处理；

第n个卷积-池化块的输出通过压平层平展成一维向量，并输入到k个全连接层中，最后通过隐含单元数与单词类别数相等的softmax层输出分类结果；所述全连接层的激活函数选择Tanh函数；

步骤四、基于源域数据库的高密度sEMG图像，选择Adam作为网络训练的优化器，并利用有监督学习方式训练所述单词分类深度神经网络，从而得到训练后的单词分类深度神经网络；

步骤五、使用迁移学习方法对训练后的单词分类深度神经网络进行校准；

步骤5.1、获取所述训练后的单词分类深度神经网络的网络结构和网络权重；

步骤5.2、根据分立电极在所述高密度电极阵列中的空间分布信息，将高密度sEMG图像中对应分立电极通道的数据替换为相应通道稀疏的sEMG图像的数据，其他通道的数据舍弃并以补零填充，从而完成迁移，并得到目标域数据库的校准集；

步骤5.3、使用所述目标域数据库的校准集对训练后的单词分类深度神经网络进行再训练，更新网络权重，从而得到校准后的单词分类深度神经网络；

步骤六、使用校准后的单词分类深度神经网络对所述新用户使用分立电极采集的表面肌电信号进行无声语音指令的识别。