[发明专利]一种字幕加配的方法及装置

说明书

技术领域

本发明涉及视频技术领域，尤其涉及一种字幕加配的方法及装置。

背景技术

字幕是电视等视频节目的一个重要组成部分，视频节目的字幕作为视频节目传递的声音和图像之外的部分，可以增加信息传播量，特别是专业内容等可以辅助增加传播效果。另外，一个国家电视字幕节目的比例，反应了一个国家的人文水平，反应了社会对残疾人的关怀程度。目前，日本，美国和欧洲等很多国家的电视节目都已经加配字幕。目前国内有字幕加配的节目是少之又少，在我国广播电视事业的发展趋势下，各制作与播出单位对电视节目字幕加配越来越重视，电视字幕已经成为电视节目的不可缺少的一部分。

目前最为广泛使用的字幕加配方案是手工加配方案，对于有台文本的电视节目，需要由专业人员手工把电视字幕一句一句的加配到电视节目的相应的时间点上；对于没有台文本的电视节目，则需要专业人员把电视节目中的语音内容一句话一句话的转写成文本内容并加配到对应的电视节目的时间点上。

上述的手工加配字幕的方法的不足之处在于花费了需要大量的人员，实现周期长，实现成本高，对于目前每天海量出现的电视节目很难及时处理。

在手工加配字幕之外，还可以利用语音识别系统进行电视节目字幕的自动加配。该方案的基本思想就是把字幕中的语音部分使用语音识别系统转换为字幕文本，并利用语音识别的时间信息把语音识别的结果加配到电视节目的对应的时间段上。

上述语音识别加配字幕的不足之处在于，在使用自动语音识别结果作为电视节目字幕的方案中，语音识别率可能不能达到100%，特别是对电视节目中带有明显噪音的部分，对应产生的电视字幕的准确率非常低，所以基于语音识别的方案仅仅使用于新闻节目等噪声比较小的节目。

发明内容

本发明实施例提供一种字幕加配方法及装置，能够实现准确的字幕加配，能够解决手工加配字幕耗时而且成本高的缺点以及语音识别加配字幕准确率不高的缺点。

一种字幕加配的方法，包括以下步骤：获取待加配字幕的视频和对应的字幕文本；提取所述待加配字幕的视频的音频；对所述音频进行语音识别并转换为带时间点信息的文本；将所述带时间点信息的文本与所述字幕文本进行对齐，生成带时间点信息的字幕文件；将所述带时间点信息的字幕文件加配到所述待加配字幕的视频上。采用该技术方案，能够实现自动加配字幕和准确的文本对齐，提高了字幕加配的准确率。

上述技术方案中，优选的，所述提取所述待加配字幕的视频的音频步骤还包括过滤提取得到所述音频的噪音。采用该技术方案，能够使字幕加配不仅仅应用在新闻类视频节目中，能够扩展到大部分的视频节目。

上述技术方案中，优选的，所述对所述音频进行语音识别并转换为带时间点信息的文本步骤之前还包括根据音频的频谱特征对所述音频进行分句。采用该技术方案，对音频进行分句，能够使得系统对电视节目的长度不敏感，处理长段的电视节目。

上述技术方案中，优选的，所述将所述带时间点信息的文本与所述字幕文本进行对齐的步骤进一步包括，将所述带时间点信息的文本与所述字幕文本逐句对齐；对于对齐的正确率超过一预定阈值的语句作为对齐结果输出。采用该技术方案，能够进一步提高字幕加配的准确率。

上述技术方案中，优选的，所述对于对齐的正确率超过一预定阈值的语句作为对齐结果输出的步骤后还包括，对于对齐的正确率未达到所述预定阈值的语句，重新进行语音识别和文本对齐。

在上述技术方案中，优选的，重新进行语音识别的步骤进一步包括，在识别的最后一个迭代中，使用剩余的没有加配的文本作为语音识别的有限状态语法进行语音识别。采用该技术方案，能够进一步提高语音识别的识别率。

上述技术方案中，优选的，所述重新进行语音识别和文本对齐的次数到达预定次数，仍未获得对齐的正确率超过所述预定阈值的语句，则将最后一次的语音识别和文本对齐结果作为结果输出。采用该技术方案，针对对比不好的节目部分，对语音识别系统进行迭代的自适应，能够使语音识别系统更好的匹配节目的声学条件，对对齐不好的句子具有更好的识别效果，提高了对存在噪声的节目的鲁棒性，扩展了系统可用性，而不再仅仅适用于新闻类节目。