[发明专利]一种多媒体语音字幕生成的系统和方法

权利要求书

1.一种多媒体语音字幕生成系统，其特征在于，所述字幕生成系统包括控制模块、字幕处理模块、语音处理模块、校对分段模块和字幕输出模块，所述字幕处理模块、语音处理模块、校对分段模和字幕输出模块均连接在所述控制模块上，所述控制模块另一端连接云端服务器,所述字幕处理模块包括字数选择单元、行数选择单元和显示标准生成单元，所述字数选择单元通过行数选择单元连接所述显示标准生成单元，所述字数选择单元和显示标准生成单元另一端均连接所述控制模块；

所述字数选择单元为控制模块提供的影视节目有关规定或要求屏幕单行显示的最多字数，所述行数选择单元为根据影视节目有关规定或要求确定显示行数，所述显示标准生成模块输出为自动进行换行换帧显示的显示标准。

2.根据权利要求1所述的字幕生成系统，其特征在于，所述控制模块包括音视频获取单元和存储集成单元，所述音视频获取单元连接所述存储集成单元，所述音视频获取单元输出为获取的生成字幕的多媒体音视频文件或音视频流，所述存储集成单元内包括获取的音视频文件、执行标准和系统所生成的文件。

3.根据权利要求1所述的字幕生成系统，其特征在于，所述语音处理模块包括音频分析单元、音频识别单元和音频切分单元，所述音频分析单元通过所述音频识别单元连接所述音频切分单元；

所述音频分析单元输出为音视频文件分析出的独立于视频文件中的无语音段、音乐段和噪音段的字幕语音段，所述音频识别单元包括无语音标准文档模型和有语音标准文档模型；

所述无语音标准文档模型，音频识别单元输出为通过云端语音识别引擎转化文本，完成“扒词”工作的字幕语音段，所述有语音标准文档模型输出为包括字幕和语音的字幕语音段；

所述音频切分单元输出为语音切分模型、断句分行模型、显示标准切分模型和语音字幕合成模型，所述语音切分模型将影视音频语音，依语意自动切分为分节语音片段，所述断句分行模型将影视作品的标准文档依语意断句分行显示，所述显示标准切分模型由波形图调整段句的切分，保证与显示标准相同，所述语音字幕合成模型将分行显示的显示标准文件调入音频片段进行语音与字幕的合成；

所述云端语音识别引擎包括汉语语音分节处理模块和汉语语音识别模块；所述的汉语语音分节处理模块将输入的语音切分成小节，使得切分点在语音的停顿处或一句话完结处，所述切分点为语音能量的低点，汉语语音分节处理模块输出为针对输入语音的分段时间信息；所述汉语语音识别模块包括：汉语语音特征抽取单元、汉语语音到文字转换识别单元、汉语语音文字关联信息单元、汉语强制切分单元、汉语拼音标注单元、汉语日常词汇单元、汉语声学模型单元、汉语语言模型单元及新词自适应识别单元。

4.根据权利要求1所述的字幕生成系统，其特征在于，所述校对分段模块包括字幕校对单元和字幕分段单元，所述字幕校对单元连接所述字幕分段单元；

所述字幕校对单元包括语音波形校对模型，所述字幕语音波形校对模型对字幕再次复读，根据复读的语音波形图进行字幕与文字的校对，每一段对应一个字幕行，所述字幕分段单元为根据复读的语音波形图调整时间戳，并对字幕文字根据语意进行分段，对分段的字幕进行分隔。

5.根据权利要求1所述的字幕生成系统，其特征在于，所述字幕输出模块包括三维一体生成单元、字幕效果编辑单元和字幕生成单元，所述字幕编辑效果单元两端分别连接所述三维一体生成单元和字幕生成单元；

所述三维一体生成单元为校对无误的字幕文稿、对应的视频语音和图像三维一体生成文档，输出带时间戳的字幕文档，所述字幕文档可以是但不限于是SRT或XML格式，所述字幕编辑效果单元将带时间戳的字幕文档输入字幕效果编辑单元，继续进行字幕效果编辑，包括字体、字号的选择和字幕动态效果的编辑，实时编辑，实时显示编辑效果，所述字幕生成单元将编辑好的字幕生成文档输入到所述控制模块的存储集成单元，自动生成加载字幕的影视文件。