[发明专利]一种基于深度聚类的多通道与说话人无关语音分离方法

权利要求书

1.一种基于深度聚类的多通道与说话人无关语音分离方法，算法的主要步骤如下：

步骤1，基于空间特征的深度聚类：

对每一个通道接收到的音频信号分别进行STFT变换，得到P个STFT声谱图{y_i，1(t，f)，y_i，2(t，f)，…，y_i，P(t，f)}，P为通道数量，i为时频元序号，i＝1，…，n，n为STFT声谱图中的时频元总数，y_i，p(t，f)表示第p个声谱里的第i个时频元，t为其时域坐标，f为其频域坐标，p＝1，…，P；

对每一个时频元y_i，p(t，f)，p＝1，…，P，i＝1，…，n，先按照下式计算得到其对数幅度谱z_i，p：

z_i，p(t，f)＝log|y_i，p(t，f)| (1)

再按照下式计算得到不同通道间的相位差θ_i，p，q(t，f)：

θ_i，p，q(t，f)＝∠y_i，p(t，f)-∠y_i，q(t，f) (2)

其中，y_i，q(t，f)表示第q个通道的第i个时频元，p≠q，q＝1，…，P，i＝1，…，n；

再对相位差θ_i，p，q(t，f)进行余弦变换得到余弦相位差δ_i，p，q(t，f)：

δ_i，p，q(t，f)＝cos(θ_i，p，q(t，f)) (3)

以第p个通道所有时频元的余弦相位差和对数幅度谱构成的特征m_i，p(t，f)＝[z_i，p(t，f)，δ_i，p，q(t，f)]^T为输入，i＝1，…，n，对双向长短时记忆网络进行训练，网络输出为嵌入向量v_i，p(t，f)；网络最小化如下损失函数：

其中，||·||_F表示F-范数运算，V_p(t，f)＝[v_1，p(t，f)，…，v_n，p(t，f)]是一个n×k维的矩阵，k为映射到高维空间的维度，B_p(t，f)＝[b_1，p(t，f)，…，b_n，p(t，f)]是一个n×U维的真实数据标签矩阵，b_i，p(t，f)＝[b_i，p，1(t，f)，…，b_i，p，u(t，f)，…，b_i，p，U(t，f)]^T，i＝1，…，n，每一个元素b_i，p，u(t，f)的值为：

其中，u为说话人的编号，u＝1，…，U，U为说话人的总数，p＝1，…，P；

然后，将混合语音信号STFT变换后所有时频元的余弦相位差和对数幅度谱构成的特征输入到训练好的双向长短时记忆网络，并使用k均值聚类算法将网络输出的嵌入向量划分为U个簇，即每个通道生成U个估计的二元时频掩模表示该通道的主导者为说话人u，表示该通道的主导者为其他说话人，u为说话人编号，u＝1，…，U，U为说话人的总数；

所述的双向长短时记忆网络为4层网络，每层包含300个隐藏单元，采用随机梯度下降法进行训练，设定动量为0.9，用于训练的固定学习率为10^-5，训练前对网络参数随机加入均值为0、方差为0.6的高斯噪声，并设定不同的嵌入维度进行训练，嵌入维度的取值在5～60之间；

步骤2，基于深度聚类的波束形成：

按照下式计算得到第u个说话人的语音及其受到的干扰的空间协方差矩阵

其中，y(t，f)为输入的经过STFT变换的所有通道的混合语音信号，y(t，f)＝[y₁(t，f)，y₂(t，f)，...，y_P(t，f)]^T，y_p(t，f)为第p个通道混合语音信号，p＝1，…，P；上标H表示计算y(t，f)的共轭转置矩阵；η_u(t，f)表示二元估计掩模对第u个说话人的加权，按照计算得到；T为采样时间的最大值；

然后，按照下式计算得到第u个说话人的MDVR波束形成器的系数w_u(f)，u＝1，…，U：

其中，是的第一主成分；

最后，按照计算得到分离开的第u个说话人的语音信号x_u(t，f)，u＝1，…，U。