[发明专利]一种在线语音文本对齐系统及方法

说明书

技术领域

本发明涉及电视字幕显示领域，特别涉及一种在线语音文本对齐系统及方法。

背景技术

一个国家电视字幕节目的比例，反应了一个国家的人文水平，反应了社会对残疾 人的关怀程度。目前，日本，美国英国等很多国家的电视节目都已经加配字幕。而 国内有字幕加配的节目是少之又少。即使有少量字幕加配，仅仅限于录播的节目， 而且字幕的加配是专业人员手工完成，花费了大量的时间和精力，对于直播的节目 的字幕加配，是通过专业人员在节目直播时根据节目播出的速度，一条条的加配。

现有技术在线语音文本方法的系统的核心模块是基于隐含马尔可夫模型的对齐 模块。它的主要作用是产生每个文本句子和在线输入的相应的实时的时间对应关系。 而传统的对齐方法则是则获取所有语音的情况下同时，由于对齐的文本中可能有不 完全正确的地方，在新闻字幕中主要表现为部分现场新闻的新闻采访(同期声)没 有对应的文本。传统的对齐方法是无法在在线的情况下处理这些错误的。传统的语 音文本对齐方法，为了处理文本流中错误段，一般是在获取所有的语音之后，离线 完成的，因而无法兼顾对带错误的文本的处理和实时语音输入对齐结果的实时获取。

发明内容

为了克服现有技术的不足，本发明提供了一种对在线语音文本对齐系统及方法。 本发明的对齐系统及方法采用分而治之的思想，通过长文本流分割成短句，将长的 语音流和文本流的对齐问题转化成短句文本和短语音流的对齐问题；同时具有自动 错误检测文本和语音中的不匹配段并跳过这些段落的功能。本发明所提出的系统及 方法，可以实时的产生在线输入语音流和对应的文本的对齐结果，并能够处理带错 误的长文本。

为了达到上述目的，本发明提供的一种在线语音文本对齐系统，包括：

一文本处理模块，用于将原始的文本流作预处理和句子分割，并将分割后的文 本句子送入强制对齐模块和错误恢复模块。

一错误检测模块，用于检测并判断是否是错误对齐，即文本与语音不匹配的情况 如果发生错误，则通知错误恢复模块进行错误恢复。

一错误恢复模块，用于根据在线输入语音信号和文本句子信息，进行错误纠正， 即对在线输入语音信号进行识别，在文本中寻取识别结果的最优匹配点，并将文本 位置反馈给强制对齐模块。及

一强制对齐模块，用于根据在线输入语音信号和文本句子信息，输出当前句子 的语音与文本的对齐结果；如果收到错误恢复模块的文本位置反馈信息，则跳过出 现错误的文本段，并从最优匹配点的句子开始，输出句子的语音与文本的对齐结果。

其中，所述强制对齐模块包括：特征提取模块、搜索空间构建模块和对齐解码 模块。

所述特征提取模块，用于将在线输入语音信号进行特征提取，并按从前往后顺 序的、逐帧的将语音特征送入对齐解码模块。

所述搜索空间构建模块，用于将文本流进行字到音的转换，根据声学模型，将 文本扩展成由隐含马尔可夫模型状态序列所组成的搜索空间。

所述对齐解码模块，用于将语音特征与对应的隐含马尔可夫模型状态序列所组 成的搜索空间对齐；根据近似最优句子结束时间输出句子的语音与文本的对齐 结果。

其中，所述近似最优句子结束时间通过以下方法得到：对于每一帧数据使用 动态规划对齐，

Q(t，s)＝max_s′{p(x_t，s|s′)·Q_v(t-1，s′)}；

其中，Q(t，s)是在时刻t落在搜索空间中某个特定的隐含马尔可夫模型状态s上的 最佳的得分；s_we是期望估计其最优结束时间的当前句子的词尾状态节点；