[发明专利]基于无效信息过滤的语音翻译方法及装置

说明书

本公开提供了基于无效信息过滤的语音翻译方法，包括：提取源语言语音片段的源语言语音特征序列；基于源语言语音特征序列获取第一声学表示序列；基于第一声学表示序列获取第一源语言文本预测序列；识别第一源语言文本预测序列中的文本无效信息，将文本无效信息从源语言文本预测序列中去除，以获得第二源语言文本预测序列；基于第二源语言文本预测序列对第一声学表示序列中的声学无效信息进行去除，以获得第二声学表示序列；对第二声学表示序列进行编码以获得高层表示；基于高层表示对目标语言文本序列进行预测，获得目标语言文本序列。本公开还提供了一种语音翻译装置、电子设备及可读存储介质。

技术领域

本公开涉及语音翻译技术领域，本公开尤其涉及一种基于无效信息过滤的语音翻译方法、装置、电子设备及存储介质。

背景技术

在机器翻译领域，端到端的语音翻译是一种跨语言跨模态的翻译任务，不仅需要处理输入较长的语音序列并提取其中的声学信息，而且需要学习源语言语音和目标语言文本之间的对其关系，导致端到端的语音翻译模型的建模困难，且建模后的模型的性能欠佳。

语音模态和文本模态之间的模态差异加剧了模型的建模难度。

而且，语音与文本还存在表示长度不一致的问题，更进一步地加剧了模型的建模难度。

发明内容

为了解决上述技术问题中的至少一个，本公开提供了一种基于无效信息过滤的语音翻译方法、装置、电子设备及存储介质。

根据本公开的一个方面，提供一种基于无效信息过滤的语音翻译方法，包括：

S102、提取源语言语音片段的源语言语音特征序列(s)；

S104、基于所述源语言语音特征序列(s)获取第一声学表示序列(h)；

S106、基于所述第一声学表示序列(h)获取第一源语言文本预测序列(π)，所述第一源语言文本预测序列(π)的长度小于或等于所述源语言语音特征序列的长度(也即小于或等于第一声学表示序列(h)的长度)；

S108、识别所述第一源语言文本预测序列(π)中的文本无效信息，所述文本无效信息包括文本无效信息，将所述文本无效信息从所述源语言文本预测序列(π)中去除，以获得第二源语言文本预测序列；

S110、基于所述第二源语言文本预测序列对所述第一声学表示序列(h)中的声学无效信息进行去除，以获得第二声学表示序列

S112、对所述第二声学表示序列进行编码以获得高层表示(h_s)；

S114、基于所述高层表示(h_s)对目标语言文本序列(y)进行预测，获得目标语言文本序列(y)。

根据本公开的至少一个实施方式的基于无效信息过滤的语音翻译方法，S104、基于所述第一源语言语音特征序列(s)获取第一声学表示序列(h)，包括：

使用前馈神经网络将所述第一源语言语音特征序列(s)映射至隐状态表示序列

使用声学编码器对所述隐状态表示编码，以获得所述第一声学表示序列(h)。

根据本公开的至少一个实施方式的基于无效信息过滤的语音翻译方法，S106、基于所述第一声学表示序列(h)获取第一源语言文本预测序列(π)，包括：

基于所述第一声学表示序列(h)获取多个所述第一源语言文本预测序列(π)；

基于各个所述第一源语言文本预测序列(π)的条件概率获得各个所述第一源语言文本预测序列(π)的输出路径上每个时刻对应标签的预测概率。