[发明专利]一种在线语音文本对齐系统及方法

权利要求书

1.一种在线语音文本对齐系统，其特征在于，所述系统包括：

一文本处理模块，用于将原始的文本流作预处理和句子分割，并将分割后的文本句子送入强制对齐模块和错误恢复模块；

一错误检测模块，用于检测并判断是否是错误对齐和文本与语音不匹配的情况，如果发生错误，则通知错误恢复模块进行错误恢复；

一错误恢复模块，用于根据在线输入语音信号和文本句子信息，进行错误纠正，即对在线输入语音信号进行识别，在文本中寻取识别结果的最优文本匹配位置，并将此最优文本匹配位置反馈给强制对齐模块；及

一强制对齐模块，用于根据在线输入语音信号和文本句子信息，实时地输出当前句子的语音与文本的对齐结果；如果收到错误恢复模块的反馈信息，则跳过出现错误的文本段，并从错误恢复模块反馈的最优文本匹配位置处的句子开始，继续输出句子的语音与文本的对齐结果，

所述强制对齐模块包括：特征提取模块、搜索空间构建模块和对齐解码模块；

所述特征提取模块，用于将在线输入的语音信号进行特征提取，并按从前往后逐帧地、顺序地将语音特征送入对齐解码模块；

所述搜索空间构建模块，用于将文本流进行字到音的转换，根据声学模型，将文本扩展成由隐含马尔可夫模型状态序列所组成的搜索空间；

所述对齐解码模块，用于将语音特征与对应的隐含马尔可夫模型状态序列所组成的搜索空间对齐；根据近似最优句子结束时间 输出句子的语音与文本的对齐结果。

2.根据权利要求1所述的在线语音文本对齐系统，其特征在于，所述错误检测模块利用语音速率估计和声学置信度估计两种策略判断是否是错误对齐：

首先通过之前处理过的句子估计说话人的语音速率,即说话人平均说一个汉字所需要的时间；具体的估计公式是 其中t是当前语音帧的时间，#of characters表示之前处理过的句子中含有的汉字的数目；由此估计出当前句子的结束时间t_end＝R_speech·N_character·(1+δ)，其中N_character是当前句子中含有的汉字的数目，δ是一个经验确定的松弛因子，用于容许说话人速率的变化；如果当t＞t_end还没有检测到句子终点时则做出初步决策，即认为可能产生了错误；

其次使用声学置信度估计的方式做二次确认；即在进行对齐解码的同时计算解码空间中状态序列对应当前语音特征帧的条件概率，在解码结束时通过条件概率计 算解码空间中各个状态对应各个语音帧的后验概率，再通过计算各个状态的后验概率在整个状态序列上的算术平均得到整个句子的声学置信度；最后根据整个句子的声学置信度和预先设定的阈值来确认是否真的发生了错误；如果发生错误，则向错误恢复模块发送错误恢复请求,否则输出当前句的对齐结果。

3.根据权利要求1所述的在线语音文本对齐系统，其特征在于，所述错误恢复模块包括：语言模型估计模块、语言模型插值模块、语音识别模块及文本对齐和相似度计算模块；

所述语言模型估计模块，用于使用最大似然估计的方法将文本句子信息估计成一个三元文法语言模型P_ref(w₃|w₁，w₂)，并与语音识别模块中的背景语言模型P_LM(w₃|w₁，w₂)通过语言模型插值模块以线性插值的方式合并在一起，得到插值估计后的语言模型为：

其中α为插值权重，取值在0到1之间，通过经验确定；

所述语音识别模块按从前往后的顺序逐帧地对送入的语音信号进行语音识别，并将语音识别的结果送入文本对齐和相似度计算模块；

所述文本对齐和相似度计算模块，用于将输入的文本在音节层次上和语音识别的结果进行对齐，首先初步确定语音识别的结果在输入文本流中的位置，其次在初步确定的位置上精细计算当前语音识别结果和文本的相似度；当相似度超过一定阈值时，则认为找到最优文本匹配位置，并将该最优文本匹配位置反馈给强制对齐模块。