[发明专利]一种基于面颈部表面肌电的无声语音识别方法

说明书

本发明公开了一种基于面颈部表面肌电的无声语音识别方法，对高密度电极阵列和分立电极采集的表面肌电信号进行数据预处理和特征提取后得到高密度sEMG图像集和通道稀疏的sEMG图像集，从而构建源域数据库和目标域数据库；然后使用源域数据库训练单词分类深度神经网络并在目标域数据库中利用迁移学习完成对网络的校准；若测试用户在分立电极输入下无声表达单词，校准后的网络可完成单词分类并实现无声语音识别。本发明兼顾了高密度电极阵列具有捕获丰富的肌肉激活模式信息的能力和分立电极的轻便易穿戴性，对轻微电极偏移和跨用户条件有一定的鲁棒性，提升了分立电极输入下的无声语音识别的性能，为无声语音识别方法提供了一个新思路。

技术领域

本发明属于生物信号处理、机器学习与智能控制领域，具体的说是一种基于面颈部表面肌电的无声语音识别方法。

背景技术

语音交互是人们最自然和最直接的交互方式之一，这是因为语音信号包含着说话者要表达的情感和意图等信息。自动语音识别(automatic speech recognition,ASR)指的是计算机对采集到的语音信号进行分析和理解，并将其转换成文本或其他形式的信息。ASR在人机交互中发挥着至关重要的作用，但也在特殊场景中存在着局限性，如高噪声背景、发声障碍人群、私密性输入环境等。因此，如何在实际应用中克服这些困难一直是语音识别系统研究的热点话题。

肌电(electromyogram,EMG)是伴随肌肉收缩产生的生理电信号，因其承载了来自中枢神经的运动控制信息，常被用于解码运动意图。肌电控制将解码出的运动指令用于控制外部设备，这一技术形成了重要的人机接口。通过将测量电极放置在皮肤表面采集到的EMG信号被称为表面肌电(surface EMG,sEMG)。因测量方式的无创性，sEMG被广泛应用于肌电控制。基于sEMG的无声语音识别(silent speech recognition,SSR)是在模拟发声运动(无语音信号输出)的过程中，通过面部和颈部肌肉的sEMG解析语音指令的一种肌电控制方法，也是ASR的一种重要补充方式。近年来，国内外许多学者在研究基于sEMG的SSR方向上做出了重要尝试。在早期的研究报道中，多采用分立式的表面肌电电极进行面颈部发声肌肉活动的测量，其特点是获取的肌电通道数量少，可穿戴性强，轻便易用。然而，由于通道数量的限制，这种分立式电极测量获取的肌肉活动信息有限，刻画发声肌肉运动模式的能力不足，使得其应用于无声语音识别中能有效识别的词汇量较少且准确度难以提升。随着电极加工工艺的进步，高密度表面肌电电极阵列的出现为肌电测量方式带来革新。这种阵列式电极可以同步获取多达几十或上百个通道的sEMG，具有捕获丰富的肌肉空间激活信息的优势，有助于提升肌电控制特别是无声语音识别的性能。然而，高密度电极阵列的穿戴性和舒适性的不足又限制了实际应用。因此，在兼顾便携性仅采用较少通道数量的分立式电极的条件下，提升较大词汇量的无声语音的识别性能是该技术广泛应用的关键。

为了提高肌电模式识别控制技术的性能和鲁棒性，许多域适应方法被提出，特别用来针对性地解决测量电极发生偏移和跨用户适应性等问题，这些方法通常需要少量的新样本来校准分类器。基于深度神经网络的迁移学习方法可以使肌电模式分类器适应当前电极位置或新的用户域，但也会使肌电控制的使用复杂化，加重用户的训练负担。此外，这些研究大多关注于相同测量电极条件下的不同任务，跨电极域的迁移方法几乎没有被考虑和讨论过。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于面颈部表面肌电的无声语音识别方法，以期能利用深度神经网络的泛化能力从高密度sEMG图像中学习相关肌肉运动模式的知识，并迁移到少通道分立电极输入的条件下，从而能使得用户在少量分立电极输入条件下仍能保持无声语音识别的高性能和高鲁棒性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于面颈部表面肌电的无声语音识别方法的特点在于，包括以下步骤：