[发明专利]同时优化深度表征学习与说话人类别估计的说话人聚类方法

说明书

本发明公开了一种同时优化深度表征学习与说话人类别估计的说话人聚类方法，步骤如下：对聚类语音样本进行预处理，提取I‑vector特征，训练卷积自编码网络并提取深度表征特征；根据深度表征特征构造初始类，得到类别数和初始类标签；在卷积自编码网络的编码器输出层增加一个全连接层和一个Softmax层构成联合优化框架，Softmax层用于估计说话人类别；将卷积自编码网络的重构误差与Softmax层的说话人类别估计交叉熵误差之和作为目标函数，迭代更新联合优化框架参数直到满足收敛条件，得到各说话人的语音样本。本发明能同时得到优化的深度表征特征与说话人聚类结果，获得比传统方法更优的说话人聚类效果。

技术领域

本发明涉及说话人聚类与声纹识别技术领域，具体涉及一种同时优化深度表征学习与说话人类别估计的说话人聚类方法。

背景技术

近年来，随着深度学习技术的发展，声纹识别技术得到了飞跃进步。从传统的I-vector特征到基于深度特征变换的d-vector和x-vector特征，声纹识别已经从理论研究步入了实际应用，例如网络银行身份认证、犯罪侦查、机器人声纹唤醒、设备声纹解锁等等。

但训练一个大型的声纹识别模型除了需要充足的训练数据以外，还需要知道每个样本所对应的说话人是哪一个。在实际应用中，训练数据可能来自于电话录音，视频网站等途径，如果要将从这些途径获得的数据全部进行人工标注，需要非常高的人力成本，且标注结果极有可能存在偏差。因此，在未知样本类别的前提下，对大量未知说话人的样本进行聚类，将说话人聚类结果作为各语音样本的标签，降低人工标注成本。

发明内容

本发明的目的是为了解决现有说话人聚类方法存在的以下不足：特征提取步骤与说话人聚类步骤独立进行，所提取的特征对聚类算法并不友好，不能得到较优的聚类结果，利用深度卷积自编码网络提取特征的优越性，提供了一种同时优化深度表征学习与说话人类别估计的说话人聚类方法。

本发明的目的可以通过采取如下技术方案达到：

一种同时优化深度表征学习与说话人类别估计的说话人聚类方法，包括以下步骤：

S1、对读入的待聚类语音样本进行预处理，提取I-vector特征；

S2、训练卷积自编码网络并从各语音样本提取深度表征特征；

S3、根据各语音样本的深度表征特征构造初始类；

S4、根据初始类标签，在卷积自编码网络的编码器输出层增加一个全连接层和一个Softmax层构成联合优化框架；

S5、将卷积自编码网络的重构误差与Softmax层的说话人类别估计交叉熵误差之和作为目标函数更新联合优化框架参数直到满足收敛条件，得到各说话人的语音样本。

进一步地，在步骤S1中，对读入的待聚类语音样本进行预处理，提取I-vector特征的过程如下：

S1.1、将信号通过一阶高通滤波器进行预加重，并使用汉明窗进行分帧；

S1.2、对经过预处理的时域信号进行傅里叶变换，得到频域信号；

S1.3、对频域信号进行梅尔滤波并取对数能量谱，将对数能量谱经过离散余弦变换得到梅尔频率倒谱系数MFCC特征(Mel Frequency Cepstral Coefficients,MFCC)；

S1.4、第t帧语音样本的D维MFCC特征x_t对应的似然概率用M个高斯分量加权表示：

其中ω_m表示第m个高斯分量的权重，p_m(x_t)表示高斯混合模型第m个高斯分量的分布函数：