[发明专利]一种无需原始数据存储的持续性学习生成语音特征的方法

权利要求书

1.一种无需原始数据存储的持续性学习生成语音特征的方法，其特征在于，所述方法包括：

S1：采集音频数据，提取音频声学特征，得到LFCC特征，即线性倒谱系数；

S2：应用所述LFCC特征对深度学习网络模型进行训练，得到源域模型；

S3：在源域模型的训练损失函数基础上加入了正则化损失，约束模型参数优化的方向，应用新生成类型的音频数据对所述源域模型进行模型参数更新，得到目标域模型；

所述深度学习网络模型为轻量级卷积神经网络；

所述正则化损失包括蒸馏正则化损失和真实语音特征分布一致性约束，

目标域模型的训练损失函数L_总损失为：

其中，

L_原始：源域模型的训练损失函数；

L_蒸馏：蒸馏正则化损失；

α：蒸馏正则化损失的权重，0.5≤α≤1；

L_真实：真实语音特征分布一致性约束；

β：真实语音特征分布一致性约束的权重，1≤β≤1.5，

所述蒸馏正则化损失的具体公式为：

其中，

：对于新采集的音频数据，第i个类别的样本，经过源域模型输出的预测概率；

：对于新采集的音频数据，源域模型的输出的累加；

：第i个类别的样本，经过目标域模型输出的预测概率；

：目标域模型的输出的累加；

T：温度超参数，

所述温度超参数的参数设置为1≤T≤2。

2.根据权利要求1所述的无需原始数据存储的持续性学习生成语音特征的方法，其特征在于，所述提取音频声学特征，得到LFCC特征的具体方法包括：

将采集到的音频数据进行采样，得到原始波形点，然后进行预加重、分帧、加窗和快速傅里叶变换，得到傅里叶功率谱；

将所述傅里叶功率谱通过线性滤波器组、取对数、进行DCT变换，得到音频的60维LFCC特征，即线性倒谱系数；

其中窗口长度为25帧，进行512维FFT。

3.根据权利要求1所述的无需原始数据存储的持续性学习生成语音特征的方法，其特征在于，所述轻量级卷积神经网络最后通过全连接层输出为N分类结果，包括真实语音和N-1种不同类型的生成语音。

4.根据权利要求3所述的无需原始数据存储的持续性学习生成语音特征的方法，其特征在于，所述N设置为50。

5.根据权利要求1所述的无需原始数据存储的持续性学习生成语音特征的方法，其特征在于，所述真实语音特征分布一致性约束的具体公式为：

其中，

：真实语音的总数；

：源域模型输出的第k条真实语音的嵌入特征向量；

：目标域模型输出的第k条真实语音的嵌入特征向量；

：源域模型输出的第k条真实语音的嵌入特征向量的模长；

：目标域模型输出的第k条真实语音的嵌入特征向量的模长。