[发明专利]语音处理方法及装置

说明书

提供一种语音处理方法及装置。该语音处理方法包括：获取语音信号的音素向量和声纹向量；基于所述语音信号的音素向量和声纹向量，获取所述语音信号的变声信号。根据本公开的语音处理方法及装置，可实现千人千面的变声效果。

技术领域

本公开涉及音视频技术领域。更具体地，本公开涉及一种语音处理方法及装置。

背景技术

语音变声在短视频和直播场景下有着广泛应用。传统变声方法通过信号处理方法分析和改变语音的基频和共振峰达到变声的目的，虽然达到一定效果，但往往不够自然真实。

发明内容

本公开的示例性实施例在于提供一种语音处理方法及装置，以至少解决相关技术中的语音处理的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种语音处理方法，包括：获取语音信号的音素向量和声纹向量；基于所述语音信号的音素向量和声纹向量，获取所述语音信号的变声信号。

可选地，获取语音信号的音素向量和声纹向量的步骤可包括：对所述语音信号进行特征提取，获得所述语音信号的特征向量；基于所述语音信号的特征向量对所述语音信号进行音素识别和声纹提取，分别获得所述语音信号的音素向量和声纹向量。

可选地，基于所述语音信号的特征向量对所述语音信号进行声纹提取的步骤可包括：将所述语音信号的特征向量输入到声纹提取网络进行声纹提取，通过所述声纹提取网络获得所述语音信号的声纹向量。

可选地，基于所述语音信号的特征向量对所述语音信号进行音素识别的步骤可包括：将所述语音信号的特征向量输入到音素识别网络进行音素识别，通过所述音素识别网络获得所述语音信号的音素向量。

可选地，音素向量中的每个元素表示所述语音信号的音素是相应音素的概率。

可选地，对所述语音信号进行特征提取的步骤可包括：对所述语音信号进行预处理；对预处理后的语音信号执行短时傅里叶变换，获得所述语音信号的时频域数据；获取所述语音信号的时频域数据的能量谱；通过预设滤波器组计算能量谱的对数能量；对对数能量进行离散余弦变换，获得所述语音信号的特征向量。

可选地，对所述语音信号进行预处理的步骤可包括：通过预加重系统提升所述语音信号的高频部分。

可选地，获取所述语音信号的变声信号的步骤可包括：基于所述语音信号的声纹向量选择目标声纹向量；基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号。

可选地，基于所述语音信号的声纹向量选择目标声纹向量的步骤可包括：计算多个候选声纹向量中的每个候选声纹向量与所述语音信号的声纹向量之间的相似度；将所述多个候选声纹向量中的与所述语音信号的声纹向量之间的相似度最大的候选声纹向量作为目标声纹向量。

可选地，计算多个候选声纹向量中的每个候选声纹向量与所述语音信号的声纹向量之间的相似度的步骤可包括：针对所述多个候选声纹向量中的每个候选声纹向量，计算候选声纹向量与所述语音信号的声纹向量之间的内积；基于所述内积与候选声纹向量的模值、所述语音信号的声纹向量的模值，计算候选声纹向量与所述语音信号的声纹向量之间的余弦相似度作为候选声纹向量与所述语音信号的声纹向量之间的相似度。

可选地，基于所述语音信号的音素向量和目标声纹向量生成所述语音信号的变声信号的步骤可包括：将所述语音信号的音素向量和目标声纹向量输入到变声网络，通过所述变声网络生成梅尔谱；基于生成的梅尔谱合成所述语音信号的变声信号。

根据本公开的示例性实施例，提供一种语音处理装置，包括：特征获取单元，被配置为获取语音信号的音素向量和声纹向量；和语音变声单元，被配置为基于所述语音信号的音素向量和声纹向量，获取所述语音信号的变声信号。