[发明专利]多人对话语音实时翻译方法、装置、设备及存储介质

说明书

本申请实施例属于语音处理技术领域，涉及一种多人对话语音实时翻译方法、装置、计算机设备及存储介质，其中方法包括：接收待翻译的对话语音，将所述对话语音输入到预设的语音分离模型进行语音分离，得到N个子音频；将所述子音频通过ASR算法进行语音识别，得到所述子音频对应的文本；将所述子音频对应的文本输入到预设的翻译引擎进行翻译，得到所述子音频对应的目标语言翻译结果。对话语音包含多个人声，使AI实时翻译的应用场景可扩大到日常的交流、会议；其次，先对分离的子音频进行语音识别，获得对应的文本，再以文本为基准进行目标语言的转换，不会出现漏翻的情况，且相对与直接使用音频进行目标语言的转换，处理起来更简便更准确。

技术领域

本申请涉及语音处理技术领域，尤其涉及多人对话语音实时翻译方法、装置、设备及存储介质。

背景技术

在经济全球化的背景下，国际交流日益频繁，对于智能化实时多语种翻译的需求也越来越多。现阶段，AI同传可用于演讲或新闻播报。但此类场景，长时间内只有一人说话，当两人或多人在同空间内对话、讨论时，多余人声会被当做背景声去除，翻译结果还是以一人为主。且如果说话人的背景声中有其他人声或更复杂的场景，会影响现阶段同传翻译时语音识别的准确性。

发明内容

本申请实施例的目的在于提出一种多人对话语音实时翻译方法、装置、计算机设备及存储介质，以解决多方交流场景下，翻译不准确、漏翻的问题。

为了解决上述技术问题，本申请实施例提供一种多人对话语音实时翻译方法，采用了如下所述的技术方案：

接收待翻译的对话语音，所述对话语音包含N个人声，N为大于1的整数；

将所述对话语音输入到预设的语音分离模型进行语音分离，得到N个子音频；

将所述子音频通过ASR算法进行语音识别，得到所述子音频对应的文本；

将所述子音频对应的文本输入到预设的翻译引擎进行翻译，得到所述子音频对应的目标语言翻译结果。

进一步的，所述将所述对话语音输入到预设的语音分离模型进行语音分离，得到N个子音频的步骤之前还包括：

获取训练样本，所述训练样本为混合了N个人声真实音频的对话语音；

将所述训练样本输入到预设的卷积神经网络模型中，获得所述卷积神经网络模型响应所述训练样本预测的N个人声预测音频；

调整所述卷积神经网络模型各节点的参数，至所述N个人声预测音频与所述N个人声真实音频之间的信噪比达到最大值时结束，得到训练好的语音分离模型。

进一步的，所述预设的翻译引擎为M个，且每个翻译引擎对应不同的目标语种，所述将所述子音频对应的文本输入到预设的翻译引擎进行翻译，得到所述子音频对应的目标语言翻译结果的步骤具体包括：

获取所述子音频的翻译目标语种；

根据所述翻译目标语种匹配与所述翻译目标语种对应的翻译引擎；

将所述子音频对应的文本输入到所述翻译引擎中进行翻译，得到所述子音频对应的目标语言翻译结果。

进一步的，当所述目标语言翻译结果为文本时，在所述将所述子音频对应的文本输入到预设的翻译引擎进行翻译，得到所述子音频对应的目标语言翻译结果的步骤之后，还包括：

将所述目标语言翻译结果输入到预设的文字-语音转换模型中进行语音转换，获得所述目标语言翻译结果的音频输出。

进一步的，在所述将所述子音频通过ASR算法进行语音识别，得到所述子音频对应的文本的步骤之后还包括：

将所述子音频对应的文本输入到预先训练的文本纠错模型中进行文本纠错，得到校正后的文本；