[发明专利]一种音频信号处理的方法及装置

权利要求书

1.一种音频信号处理的方法，其特征在于，所述方法包括：

获取原唱音频信号以及模仿音频信号；

分别对所述原唱音频信号以及所述模仿音频信号进行特征提取，获取所述原唱音频信号对应的第一特征帧序列，以及，所述模仿音频信号对应的第二特征帧序列；

将所述第二特征帧序列与所述第一特征帧序列进行帧对齐，生成帧对齐序列；

检测所述第一特征帧序列对应的第一音节起始点序列，以及，所述第二特征帧序列对应的第二音节起始点序列；

基于所述第一音节起始点序列以及所述第二音节起始点序列，对所述帧对齐序列进行调整；

采用调整后的帧对齐序列对所述模仿音频信号进行音频波形重建，并根据重建得到的音频波形数据生成用于输出的目标音频。

2.根据权利要求1所述的方法，其特征在于，所述检测所述第一特征帧序列对应的第一音节起始点序列，以及，所述第二特征帧序列对应的第二音节起始点序列，包括：

分别将所述第一特征帧序列以及所述第二特征帧序列输入已训练的深度神经网络模型，并获取所述深度神经网络模型分别输出的所述第一特征帧序列及所述第二特征帧序列中各帧为音节起始点的概率；

根据所述第一特征帧序列中各帧为音节起始点的概率，生成第一音节起始点概率曲线；

根据所述第二特征帧序列中各帧为音节起始点的概率，生成第二音节起始点概率曲线；

对所述第一音节起始点概率曲线进行峰值检测，并根据检测出的峰值结果生成第一音节起始点序列；

对所述第二音节起始点概率曲线进行峰值检测，并根据检测出的峰值结果生成第二音节起始点序列。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一音节起始点序列以及所述第二音节起始点序列，对所述帧对齐序列进行调整，包括：

遍历所述第一音节起始点序列中各音节起始点，获取该音节起始点的目标帧号；

根据所述帧对齐序列，确定与所述目标帧号对齐的对齐目标帧号；

从所述第二音节起始点序列中查找所述对齐目标帧号，以确定与所述对齐目标帧号距离最近的目标音节起始点；

若所述目标音节起始点所在的帧号与所述对齐目标帧号的距离在预设距离范围内，则将所述帧对齐序列中的所述对齐目标帧号调整为目标音节起始点所在的帧号；

以调整后的所述对齐目标帧号为中心，对前后预设范围内的对齐帧号进行平滑处理。

4.根据权利要求1所述的方法，其特征在于，所述采用调整后的帧对齐序列对所述模仿音频信号进行音频波形重建，包括：

获取所述模仿音频信号的波形数组；

根据调整后的帧对齐序列的长度，创建目标波形数组，所述目标波形数组中的长度为与所述调整后的帧对齐序列的长度相关，所述目标波形数组中的初始值均为第一预设值；

根据所述模仿音频信号的波形数组、调整后的帧对齐序列的第一个元素值以及指定的汉明窗，确定所述目标波形数组中第一帧对应的目标窗数据，并将所述目标波形数组中第一帧的第一预设值更新为所述目标窗数据；

根据所述模仿音频信号的波形数组以及调整后的帧对齐序列的第一个元素值，确定所述目标波形数组中第一帧对应的自相关窗变量值；

遍历所述调整后的帧对齐序列的第二个元素值至第N个元素值，结合上一帧确定的自相关窗变量值确定所述目标波形数组中第二帧开始的各帧的最佳起始拼接点，其中，所述帧对齐序列的长度为N；

根据各帧对应的最佳起始拼接点，确定该帧以该最佳起始拼接点为起点的窗数据，以及，对上一帧得到的自相关窗变量值进行更新；

以各帧对应的窗数据更新所述目标波形数组对应的元素值。