[发明专利]一种缄默通信方法、系统和存储介质

说明书

本发明公开了一种缄默通信方法、系统和存储介质，用以满足一些特定场景下的信息沟通需求。缄默通信方法，包括：在第一用户说话过程中，分别采集第一IMU信号、第一EMG信号和第一语音信号；根据第一IMU信号确定关节肌肉的第一形态位置变化信息；根据第一EMG信号确定第一肌电变化信息；从第一语音信号中提取第一声学表示特征信息；基于第一形态位置变化信息、第一肌电变化信息和第一声学表示特征信息进行训练，得到语音预测模型；利用语音预测模型，在第二用户进行语音表达的过程中，识别第二用户表达的语音信息。

技术领域

本发明涉及语音信号处理技术领域，尤其涉及一种缄默通信方法、系统和存储介质。

背景技术

在一些特定场景下，例如在喧嚣环境下，因为周围环境噪音太大，声音会因此受到影响，导致语音沟通的不便，甚至会影响到信息的传达；而在一些要求极为安静的环境中进行语音交流将影响到其他人。

目前已经有一些高精度的电子喉，在医用领域中也有不少辅助有发声障碍的人的电子设备，其原理有的是通过记录说话时的气息，达到重建语音信号的目的，也有通过利用喉部在说话时的振动信号达到重建语音信号的目的。但这些设备存在如下问题，首先利用说话气息的操作不方便，其依赖放入咽喉的软管进行工作，对人体很不友好；其次电子喉是通过震动信号转换为模拟信号再利用数字信号进行音频信号的转换，需在使用时用手按住传感器使其紧贴喉咙，且在某些情况下会出现失真等问题。

由此可见，如何满足一些特定场景下的信息沟通需求成为现有技术中亟待解决的技术问题之一。

发明内容

本发明实施例提供了一种缄默通信方法、系统和存储介质，用以满足一些特定场景下的信息沟通需求。

第一方面，提供一种缄默通信方法，包括：

在第一用户说话过程中，分别采集第一惯性测量单元IMU信号、第一肌电图EMG信号和第一语音信号；

根据所述第一IMU信号确定关节肌肉的第一形态位置变化信息；

根据所述第一EMG信号确定第一肌电变化信息；

从所述第一语音信号中提取第一声学表示特征信息；

基于所述第一形态位置变化信息、所述第一肌电变化信息和所述第一声学表示特征信息进行训练，得到语音预测模型；

利用所述语音预测模型，在第二用户进行语音表达的过程中，识别所述第二用户表达的语音信息。

在一种可能的实施方式中，基于所述第一形态位置变化信息、所述第一肌电变化信息和所述第一声学表示特征信息进行训练，得到语音预测模型，具体包括：

基于所述第一形态位置变化信息、所述第一肌电变化信息和所述第一声学表示特征信息进行训练，利用双向长短时记忆神经网络进行训练，得到语音预测模型。

在一种可能的实施方式中，所述语音预测模型中包含有形态位置变化信息和肌电变化信息与声学表示特征信息之间的对应关系；以及

利用所述语音预测模型，在第二用户进行语音表达的过程中，识别所述第二用户表达的语音信息，具体包括：

在所述第二用户进行语音表达的过程中，分别接收第二形态位置变化信息和第二肌电变化信息；

基于所述第二形态位置变化信息和所述第二肌电变化信息，利用所述语音预测模型预测其对应的第二声学表示特征信息；

利用所述第二声学表示特征信息进行语音合成得到所述第二用户表达的语音信息。

在一种可能的实施方式中，本发明实施例提供的缄默通信方法，还包括：

利用无线通信方式传输所述第二用户表达的语音信息。