[发明专利]独立字幕流的添加复用方法和装置

权利要求书

1.一种独立字幕流的添加复用方法，其特征在于，包括：

接收TS流信号，对所述TS流信号进行解复用；

根据解复用得到的PES层中的时间戳确定第一系统时钟；

对解复用得到的音频流进行语音识别，得到对应的文本信息和对应的第二时钟；根据所述文本信息进行编码，生成字幕流；

根据所述第一系统时钟与第二时钟，对解复用得到的视频流、音频流，以及所述字幕流进行复用，得到带有独立字幕流的TS流信号；

所述第二时钟为对应的文本信息的首个字符的输出时间；

所述根据所述第一系统时钟与第二时钟，对解复用得到的视频流、音频流，以及所述字幕流进行复用，得到带有独立字幕流的TS流信号，包括：

根据所述第二时钟对所述第一系统时钟的延迟，将所述视频流、所述音频流进行延迟，使得所述视频流、所述音频流、所述字幕流实现同步，对同步的视频流、音频流、字幕流进行复用，得到带有独立字幕流的TS流信号；

生成字幕流包括：

根据所述文本信息、第二时钟进行编码，生成字幕流。

2.根据权利要求1所述的方法，其特征在于，对所述TS流信号进行解复用包括：

从所述TS流信号中过滤出待进行独立字幕流的添加复用的频道，进行解扰解复用得到对应的TS层、PES层和ES层。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对解复用得到的ES层进行分析，根据分析得到的分辨率和帧率，确定后期展示字幕的位置信息。

4.根据权利要求1所述的方法，其特征在于，对解复用得到的音频流进行语音识别包括：

采用VAD算法对所述音频流检测语音，采集到待识别语音信号；

获取当前待识别语音信号的语音特征序列；将所述语音特征序列输入预先训练得到的神经网络模型，得到表示各个音素的概率的输出序列；

将所述输出序列输入预先训练的CTC模型，得到对应的音素序列；

将所述音素序列输入语言模型，转换成最终的文字序列作为识别结果；其中，

所述神经网络模型是通过对已有字幕文件的电视节目生成的训练样本集，采用teachers-student框架进行训练得到的。

5.一种独立字幕流的显示方法，其特征在于，包括：

接收根据权利要求1-4任一所述的带有独立字幕流的TS流信号，对所述TS流信号进行解复用；

根据用户输入的控制选项，在屏幕上显示/隐藏对应所述独立字幕流。

6.一种独立字幕流的添加复用装置，其特征在于，包括：

解复用模块，用于接收TS流信号，对所述TS流信号进行解复用；

第一系统时钟确定模块，用于根据解复用得到的PES层中的时间戳确定第一系统时钟；

字幕流生成模块，用于对解复用得到的音频流进行语音识别，得到对应的文本信息和对应的第二时钟；根据所述文本信息进行编码，生成字幕流；

复用模块，用于根据所述第一系统时钟与第二时钟，对解复用得到的视频流、音频流，以及所述字幕流进行复用，得到带有独立字幕流的TS流信号；

所述第二时钟为对应的文本信息的首个字符的输出时间；

所述复用模块具体用于：

根据所述第二时钟对所述第一系统时钟的延迟，将所述视频流、所述音频流进行延迟，使得所述视频流、所述音频流、所述字幕流实现同步，对同步的视频流、音频流、字幕流进行复用，得到带有独立字幕流的TS流信号；

字幕流生成模块具体用于：

根据所述文本信息、第二时钟进行编码，生成字幕流。

7.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1~5中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1~5中任一项所述的方法。