[发明专利]一种缄默通讯方法、装置、设备及存储介质

权利要求书

1.一种缄默通讯方法，其特征在于，包括：

同步采集面部肌电信号、唇部光学图像和口腔超声图像；

对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理以及特征提取，得到处理后的特征数据；

将所述处理后的特征数据输入预先训练的无声语音识别模型，得到以缄默方式说话时的无声语音；

将所述无声语音发送到语音接收设备。

2.根据权利要求1所述的方法，其特征在于，所述对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理，包括：

对所述面部肌电信号进行滤波、降噪、活动段提取、数据归一化以及去基线处理，得到预处理后的面部肌电信号；

对所述唇部光学图像进行转换灰度图、裁剪目标区域以及压缩图像的处理，得到预处理后的唇部光学图像；

对所述口腔超声图像进行数据平滑降噪以及裁剪目标区域的处理，得到预处理后的口腔超声图像。

3.根据权利要求2所述的方法，其特征在于，对预处理后的面部肌电信号、预处理后的唇部光学图像以及预处理后的口腔超声图像进行特征提取，得到处理后的特征数据，包括：

对预处理后的面部肌电信号提取梅尔频率倒谱系数，得到面部肌肉运动的动态特征数据；

对预处理后的唇部光学图像采用主成分分析方法，提取唇部的运动特征数据；

对预处理后的口腔超声图像采用离散余弦变换方法，提取口腔及舌头的运动特征数据。

4.根据权利要求1所述的方法，其特征在于，所述将所述处理后的特征数据输入预先训练的无声语音识别模型之前，还包括：

根据处理后的特征数据，采用深度学习的方法训练所述无声语音识别模型。

5.根据权利要求4所述的方法，其特征在于，所述采用深度学习的方法训练所述无声语音识别模型，包括：

采用深度学习中的卷积神经网络算法训练所述无声语音识别模型，或，

采用深度学习中的长短时记忆神经网络算法训练所述无声语音识别模型。

6.根据权利要求1所述的方法，其特征在于，所述将所述无声语音发送到语音接收设备，包括：

通过无线通信技术将所述无声语音发送到语音接收设备。

7.一种缄默通讯装置，其特征在于，包括：

数据采集模块，用于同步采集面部肌电信号、唇部光学图像和口腔超声图像；

数据处理模块，用于对所述面部肌电信号、唇部光学图像和口腔超声图像进行预处理以及特征提取，得到处理后的特征数据；

识别模块，用于将所述处理后的特征数据输入预先训练的无声语音识别模型，得到以缄默方式说话时的无声语音；

通讯模块，用于将所述无声语音发送到语音接收设备。

8.根据权利要求7所述的装置，其特征在于，还包括：

模型训练模块，用于根据处理后的特征数据，采用深度学习的方法训练所述无声语音识别模型。

9.一种缄默通讯设备，其特征在于，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的缄默通讯方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至6任一项所述的一种缄默通讯方法。