[发明专利]噪声环境下人工耳蜗信号的说话人可懂性检测方法

权利要求书

1.一种噪声环境下人工耳蜗信号的说话人可懂性检测方法，其特征在于，包括下列步骤：

(一)人工耳蜗处理过程如下：

(1)、语音信号的预处理

语音信号的预处理包括端点检测、均方根归一化、将输入信号采样率调整为Fs、预加重、分帧和加窗，得到预处理后N个帧长为L的短时帧信号；

(2)、对预处理后的语音信号进行FFT带通滤波器组滤波，包括以下步骤：

1)对加窗的短时帧信号进行FFT变换，计算每个短时帧频谱S(l,i)；其中i＝1，…，N表示第i个短时帧，l表示每个短时帧第l个频率点取值，l＝0,1,2,…,L-1；

2)利用Nc个通道带通滤波器组对每个短时帧频谱进行滤波，保留落入相应通道频率范围的频率分量，其余频率分量滤除；

(3)、各通道包络提取

采用希尔伯特变换的方式，提取每个短时帧信号频谱中的包络，令j表示第j个通道的带通滤波器，其中j＝1，…，Nc；q表示第j个带通滤波器通带内对应频率节点的个数，则经过FFT带通滤波器组后得到的每个通道的包络F(j,i)；

式中，F_s为信号的采样率，c_k为通道增益系数，k＝1,2,…,Nc，满足

其中|G(0)|表示汉宁窗经傅里叶变换后得到直流分量的幅度值，|G(0.5)|是将汉宁窗补零至原来长度的两倍后，进行傅里叶变换得到的第二个谐波分量的幅度值，根据不同通道内包含的频率分量个数q的大小，由上式选择对应的通道增益系数，以便均衡各通道的包络能量；

(4)、峰值选择

从N_c个通道的包络中选择n个幅值最大的包络值来表示产生电刺激的电极点，并利用Id来记录n个幅值最大通道的通道号，A_mc表示n个幅值最大通道对应的包络；

(5)、幅度压缩

对于被选中作为产生电刺激的电极通道而言，需要计算各通道电极的刺激脉冲时间，并对其振幅信号A_mc进行幅值压缩处理，以满足电刺激的动态范围，最终得到刺激电极上交叉脉冲刺激序列的电流幅度I_m，m＝1,2,…,n，这里，电极是由底至顶的顺序产生刺激信号；

(6)、语音波形重构

(1)输入幅度压缩后的刺激电极上交叉脉冲刺激序列的电流幅度信号I_m；

(2)使用截止频率为L_s的低通滤波器估计每个通道的包络A_L；

(3)利用人工耳蜗处理算法过程中的FFT滤波器，对随机白噪声信号进行频域滤波；

(4)用白噪声信号频域滤波后的信号对幅度压缩后各通道的包络进行调制；

(5)将每个通道的信号转变为时域函数，然后重叠相加所有通道的信号，最终得到经过人工耳蜗处理后的语音信号；

(二)特定说话人的语音建模方法

包括下列步骤：

(1)、输入纯净训练语音信号，经过上述步骤(一)人工耳蜗处理，得到纯净训练语音经人工耳蜗处理后的重构语音CleanCI；

(2)、提取步骤(1)产生的语音信号CleanCI的短时谱参数，得到CleanCI语音信号的短时谱参数F_CleanCI；

(3)、特征提取算法步骤：首先将语音信号通过动态Gammachirp滤波器组，在每个频率通道中计算包络，然后以100Hz的采样率采样，利用对数log函数进行压缩，取其离散余弦变换，最终得到短时谱参数F_CleanCI；

(4)、计算短时谱参数F_CleanCI一阶动态参数△F_CleanCI，并形成组合特征参数FD_CleanCI＝[F_CleanCI△F_CleanCI]；

(5)、利用所有参考说话人的特征参数FD_clean训练与说话人无关的隐马尔科夫语音模型，作为说话人独立的背景模型SI；

(6)、利用背景模型SI和每个参考说话人特征参数FD_{clean_w},其中w＝1,2,...,N_w,这里N_w是参考说话人个数，采用Baum-Welch算法对每一个参考说话人的每个关键词建立隐马尔科夫模型(hidden Markov models，HMMs)λ_wb，其中b表示关键词序号，b＝1,2,..N_b在每个词的HMMs模型λ_wb中，每个音素使用两个状态表示，不同关键词模型λ_wb中状态的个数直接由关键词包含的音素个数决定，每个状态有两个转移特性，自转移和到边界状态的转移，每个状态由M_h个混合度的高斯混合模型构成，高斯混合模型的协方差矩阵采用对角阵，所有的模型状态都由一个单高斯模型初始化，然后混合度自适应变成2、3、4、5个，直到最后得到M_h个混合度的高斯混合模型GMM；

(三)说话人可懂度检测方法

(1)、输入纯净识别语音，加入噪声信号，按照信噪比SNR的要求，得到不同信噪比条件下的带噪识别语音；

(2)、分别将纯净识别语音和带噪识别语音进行人工耳蜗处理算法处理，得到纯净识别语音经人工耳蜗处理后的重构语音RCleanCI和加入噪声后的人工耳蜗语音信号RNoisyCI；

(3)、分别提取前一步骤(2)产生的语音信号RNoisyCI和RCleanCI的短时谱参数RF_NoisyCI和RF_CleanCI；

(4)、可靠小区域块检测

1)分别短时谱参数RF_NoisyCI和RF_CleanCI计算每个时频单元的局部信噪比，分别得到SNR(t,f)，这里t表示时间，f表示频率；

2)计算掩码IRM(t,f)

这里，β是一个衡量掩码的可调参数；

3)确定时频单元中可靠的时频单元点；

设置相应的阈值T，比较每个时频单元掩码与阈值T之间的大小，如果对应时频单元点的值大于阈值T，则认为该时频单元点为可靠的，用“1”进行标注，否则标记“0”；

4)确定可靠的小区域块；

如果某个区域块中包含的可靠时频单元点数大于设定的M点，则认为该区域就是可靠的小区域块，否则该区域为掩蔽区域，利用这个原则，对标注的时频单元Mask(t,f)进行分析，得到经过CI处理后带噪语音时频单元中可靠的小区域块G_c，c＝1,2,…,C，其中C表示可靠小区域的个数；

(5)、利用短时谱参数RF_NoisyCI计算其一阶动态参数△RF_NoisyCI，并形成组合参数RFD_NoisyCI＝[F_NoisyCI△F_NoisyCI]；

(6)、对于每一个参考说话人的识别语音，根据上述确定的可靠小区域块以及掩蔽区域，采用基于缺失数据特征的识别方法进行识别；

其中iw∈[1,N_w],ib∈[1,N_b]；

根据公式(6)得到的识别结果，统计每一个说话人每句话关键词识别的识别率，作为每个说话人可懂度的检测结果；

(7)、在实际的听力测试中，对每一条识别语音，听力测试者需要记录对应的语音是哪个说话人的第几个关键词，然后按照公式(7)的标准进行统计计算，得到每个说话人可懂度的检测结果，与理论检测结果比对，验证计算有效性。

2.根据权利要求1所述的一种噪声环境下人工耳蜗信号的说话人可懂性检测方法，其特征在于：步骤(三)说话人可懂度检测方法中(6)、采用基于缺失数据特征的识别方法进行识别的方法是：采用边缘化算法，完全忽略不可靠的组合参数，用可靠的组合参数RFD_{NoisyCI_r}进行识别，则利用Viterbi算法估计后验概率f(RFD_NoisyCI|λ_wb)＝f(RFD_{NoisyCI_r}|λ_wb)，找到最大后验概率对应的关键词模型作为识别结果，iw和ib分别指的是识别语音被识别为说话人iw的第ib个关键词。