[发明专利]一种缄默通讯方法、装置、设备及存储介质

说明书

本发明公开了一种缄默通讯方法、装置、设备及存储介质，包括：同步采集面部肌电信号、唇部光学图像和口腔超声图像；对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理以及特征提取，得到处理后的特征数据；将所述处理后的特征数据输入预先训练的无声语音识别模型，得到以缄默方式说话时的无声语音；将所述无声语音发送到语音接收设备。本发明的缄默通讯方法，融合了面部肌电信号、唇部图像以及口腔超声图像三种常用于无声语音识别技术中的特征信号，能够获得准确率更高，识别速度更快的识别结果。

技术领域

本发明涉及通讯技术领域，特别涉及一种缄默通讯方法、装置、设备及存储介质。

背景技术

不依靠声学信号的缄默通讯方法具有多种用途，例如，可以在医疗领域中帮助发音障碍患者进行交流，可以用于火灾、化学物质灾害等救灾现场的通讯，用于在军事指挥作战中的保密通讯等。

缄默通讯中的无声语音识别技术发展至今，使用的非声学信号和方法主要有以下几类：利用口腔的超声图像和唇部的光学图像数据进行语音信号的转换，使用表面肌电信号传感器采集发音时面部及喉部肌肉运动的电信号重建发音过程，使用电磁发音记录仪，用来记录发声时各个发音器官的运动信息，从脑电图解析信号，通过记录说话者脑电图情况，模拟语音产生的过程。近年来，基于唇部光学图像、基于口腔的超声成像系统和基于表面肌电信号的无声语音技术越来越广泛的用于缄默通讯方法中，且都是一种非侵入式、临床安全的方式。

但是现有技术中都是对上述的各种单一的非声学数据采集及无声语音识别技术进行研究，由于其较低的鲁棒性和泛化能力，使得其语音识别的精度较低，难以满足高效缄默通讯的要求。

发明内容

本公开实施例提供了一种缄默通讯方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种缄默通讯方法，包括：

同步采集面部肌电信号、唇部光学图像和口腔超声图像；

对面部肌电信号、唇部光学图像和口腔超声图像进行预处理以及特征提取，得到处理后的特征数据；

将处理后的特征数据输入预先训练的无声语音识别模型，得到以缄默方式说话时的无声语音；

将无声语音发送到语音接收设备。

进一步地，对面部肌电信号、唇部光学图像和口腔超声图像进行预处理，包括：

对面部肌电信号进行滤波、降噪、活动段提取、数据归一化以及去基线处理，得到预处理后的面部肌电信号；

对唇部光学图像进行转换灰度图、裁剪目标区域以及压缩图像的处理，得到预处理后的唇部光学图像；

对口腔超声图像进行数据平滑降噪以及裁剪目标区域的处理，得到预处理后的口腔超声图像。

进一步地，对预处理后的面部肌电信号、预处理后的唇部光学图像以及预处理后的口腔超声图像进行特征提取，得到处理后的特征数据，包括：

对预处理后的面部肌电信号提取梅尔频率倒谱系数，得到面部肌肉运动的动态特征数据；

对预处理后的唇部光学图像采用主成分分析方法，提取唇部的运动特征数据；

对预处理后的口腔超声图像采用离散余弦变换方法，提取口腔及舌头的运动特征数据。

进一步地，将处理后的特征数据输入预先训练的无声语音识别模型之前，还包括：

根据处理后的特征数据，采用深度学习的方法训练无声语音识别模型。