[发明专利]语音处理系统和处理语音信号的方法

说明书

一种用于生成翻译语音的语音处理系统，该系统包括：用于接收包括第二语言的第一语音信号的输入；用于输出包括第一语言的第二语音信号的输出；和处理器，配置成从第一语音信号的分段生成第一文本信号，第一文本信号包括第二语言；从第一文本信号生成第二文本信号，第二文本信号包括第一语言；从第一语音信号的分段提取多个第一特征矢量，其中第一特征矢量包括关于与第一语音信号的分段对应的音频数据的信息；用第一训练算法将一个或多个第一特征矢量作为输入来生成说话者矢量，其中说话者矢量表示与说话者对应的特征集；用第二训练算法将关于第二文本信号的信息作为输入并使用说话者矢量来生成第二语音信号分段，第二语音信号分段包括第一语言。

技术领域

本发明涉及语音处理系统、用于生成说话者矢量的系统、处理语音信号的方法、生成说话者矢量的方法、训练语音信号处理系统的方法以及训练系统以生成说话者矢量的方法。

背景技术

口语翻译系统具有各种应用，例如电话会议和视频或音频录制的配音翻译(voice-over translation)。已知各种口语翻译系统。这类系统可以使用例如语音识别、文本到文本的翻译和文本到语音的处理步骤。持续需要改进这种口语翻译系统。

附图说明

现在将参考附图描述根据非限制性实施例的系统和方法，其中：

图1示出了根据实施例的用于处理语音信号的系统的示意图；

图2(a)示出了根据实施例的语音处理系统中包括的处理阶段的流程图；

图2(b)示出了根据实施例的在语音处理方法中执行的步骤的流程图；

图3示出了根据实施例的用于生成说话者矢量的系统的示意图；

图4示出了根据实施例的在语音处理系统中使用的语音合成模块的示意图；

图5示出了根据实施例的由在语音处理系统中使用的语音合成系统执行的步骤的流程图；

图6是根据实施例的在训练语音处理系统的方法中使用的语音合成模块的训练过程的阶段的示意图；

图7示出了根据实施例的训练语音合成系统的方法的流程图；

图8示出了根据实施例的训练系统以生成说话者矢量的方法的流程图；

图9是根据实施例的用于训练语音处理系统的训练过程的阶段的示意图；

图10是根据实施例的训练语音信号处理系统的方法的流程图；

图11是示出根据实施例的语音处理系统中包括的处理阶段的流程图；

图12示出了根据实施例的训练过程的示意图；

图13是示出根据实施例的语音处理系统中包括的处理阶段的流程图；

图14示出了根据实施例使用的训练语音合成系统的方法；

图15示出了根据实施例的语音处理系统中包括的处理阶段的流程图；

图16示出了源语言话语中的每个单词与目标语言话语中的每个单词之间的比对；

图17是计算图的示例的示意图；

图18是随着时间展开的计算图的示意图；

图19示出了根据实施例的在语音处理系统中使用的语音合成模块的示意图；

图20示出了根据实施例的训练语音信号处理系统的方法的示意图；

图21(a)示出了图20的训练方法的阶段1的示意图，而图21(b)示出了图20的训练方法的阶段2的示意图；

图22示出了生成关注权重的方法的示意图；