[发明专利]语音转换与模型训练方法、装置和系统及存储介质

说明书

本发明提供一种语音转换方法、装置和系统及存储介质与一种模型训练方法、装置和系统及存储介质。语音转换方法包括：获取源说话者分别在N个不同通道下的N组源语音数据，其中，N为大于1的整数；分别对N组源语音数据中的每组源语音数据进行特征提取，以获得N组源识别声学特征；对N组源识别声学特征进行特征合并，以获得源说话者的声学特征；通过预定映射模型将源说话者的声学特征映射为目标说话者的声学特征；基于目标说话者的声学特征进行语音合成，以获得目标说话者的目标语音。基于多通道语音数据进行模型训练和语音转换，对嘈杂环境的鲁棒性更高，可以减少语音转换时识别不准的现象。

技术领域

本发明涉及语音信号处理技术领域，具体地，涉及一种语音转换方法、装置和系统及存储介质与一种模型训练方法、装置和系统及存储介质。

背景技术

在语音信号处理领域中，语音转换(即语音音色转换)技术是当前比较重要的一个研究方向。语音转换旨在修改任意说话者的音色，将其转换为某一固定说话者的音色，同时说话内容保持不变。语音转换涉及到前端信号处理、语音识别和语音合成技术。目前语音转换技术主要使用前端信号处理后的单通道数据，作为提取识别声学特征和合成声学特征的语音数据，进行语音转换所涉及的网络模型的训练，进而实现整个语音转换系统。

现有的基于单通道数据的语音转换技术具有以下缺点：在环境比较嘈杂的时候，会出现严重的识别不准现象，错误类型可以包括音错、字错等。例如，源语音为“我爱北京天安门”，转换后的目标语音为“我ai(一声)北京天安门”，这种是音错。还有可能发生字错，例如将上述源语音转换为目标语音“我爱北京天啊门”。这些错误直接导致最后转换获得的目标语音听感很差。

发明内容

为了至少部分地解决现有技术中存在的问题，提供一种语音转换方法、装置和系统及存储介质与一种模型训练方法、装置和系统及存储介质。

根据本发明一个方面，提供一种语音转换方法，包括：获取源说话者分别在N个不同通道下的N组源语音数据，其中，N为大于1的整数；分别对N组源语音数据中的每组源语音数据进行特征提取，以获得N组源识别声学特征；对N组源识别声学特征进行特征合并，以获得源说话者的声学特征；通过预定映射模型将源说话者的声学特征映射为目标说话者的声学特征；基于目标说话者的声学特征进行语音合成，以获得目标说话者的目标语音。

示例性地，获取源说话者分别在N个不同通道下的N组源语音数据包括：获取麦克风阵列采集的源说话者的N组源语音数据，麦克风阵列包括与N个不同通道一一对应的N个布置方位不同的麦克风。

示例性地，获取源说话者分别在N个不同通道下的N组源语音数据包括：获取M个麦克风采集的源说话者的M组初始源语音数据，其中，M为大于或等于1的整数；以及对M组初始源语音数据进行M通道至N通道的通道变换操作，以获得N组源语音数据。

示例性地，对M组初始源语音数据进行M通道至N通道的通道变换操作，以获得N组源语音数据包括：对M组初始源语音数据进行M通道至单通道的第一通道变换操作，以获得单组源语音数据；以及对单组源语音数据进行单通道至N通道的第二通道变换操作，以获得N组源语音数据。

示例性地，对单组源语音数据进行单通道至N通道的第二通道变换操作，以获得N组源语音数据包括：对单组源语音数据进行仿真，以获得单组新源语音数据；以及分别通过与N个不同通道一一对应的N个空间滤波器对单组新源语音数据进行滤波，以获得N组源语音数据。

示例性地，对单组源语音数据进行仿真，以获得单组新源语音数据包括：

通过以下公式对单组源语音数据进行仿真：

其中，y₃为单组新源语音数据，s₃为单组源语音数据，h₃为第三卷积核，n₃为第三噪声。