[发明专利]字幕信息检测方法、装置、设备以及存储介质

权利要求书

1.一种字幕信息检测方法，其特征在于，所述方法包括：

确定目标视频的每个视频帧中的各文本框，基于各所述文本框确定至少一个文本框序列，每个所述文本框序列中的任意两个文本框位于不同的视频帧；

确定所述目标视频对应的每个音频片段对应的文本内容；

基于每个所述文本框序列以及对应的第一时间区间、各所述音频片段对应的第二时间区间和文本内容，确定每个所述文本框序列与各所述音频片段的匹配度；

基于每个所述文本框序列与各所述音频片段的匹配度，从各所述文本框序列中确定出包括字幕信息的目标文本框序列；

基于各所述目标文本框序列确定所述目标视频的字幕信息。

2.根据权利要求1所述的方法，其特征在于，所述基于各所述文本框确定至少一个文本框序列，包括：

确定各所述文本框中每两个文本框的文本框相似度；

基于各所述文本框中每两个文本框的文本框相似度，从各所述文本框中确定出至少一个文本框序列，每个所述文本框序列中的文本框按照所在视频帧的帧序号由小到大的顺序进行排列；

其中，对于每个所述文本框序列中任意两个相邻的第一文本框和第二文本框，所述第一文本框之后的所述第二文本框是基于以下方式确定的：

确定所述第一文本框所在视频帧之后的第一数量的视频帧中的第一视频帧，每个所述第一视频帧包括与所述第一文本框的文本框相似度大于第一阈值的文本框；

将帧序号最小的第一视频帧中与所述第一文本框的文本框相似度最大的文本框确定为所述第二文本框。

3.根据权利要求2所述的方法，其特征在于，对于各所述文本框中的任意两个不相同的第三文本框和第四文本框，确定所述第三文本框和所述第四文本框的文本框相似度，包括：

响应于所述第三文本框和所述第四文本框所在视频帧的帧序号差小于或者等于第一数量、且所述第三文本框和所述第四文本框位于不同的视频帧，基于所述第三文本框和所述第四文本框分别对应的文本内容、以及分别在对应视频帧中的第一区域和第二区域，确定所述第三文本框和所述第四文本框的文本框相似度。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第三文本框和所述第四文本框分别对应的文本内容、以及分别在对应视频帧中的第一区域和第二区域，确定所述第三文本框和所述第四文本框的文本框相似度，包括：

确定所述第三文本框和所述第四文本框分别对应的文本内容的第一文本相似度；

确定所述第三文本框和所述第四文本框分别在对应视频帧中的第一区域和第二区域的交集区域和并集区域，并确定所述交集区域和所述并集区域的区域交并比；

基于所述第一文本相似度和所述区域交并比，确定所述第三文本框和所述第四文本框的文本框相似度。

5.根据权利要求1所述的方法，其特征在于，对于每个所述文本框序列和每个所述音频片段，基于该文本框序列以及对应的第一时间区间、该音频片段对应的第二时间区间和文本内容，确定该文本框序列与该音频片段的匹配度，包括：

确定该文本框序列对应的第一时间区间和该音频片段对应的第二时间区间的时间交集；

基于该文本框序列对应的文本内容，确定该文本框序列在所述时间交集内的第一文本内容，基于该音频片段对应的文本内容，确定该音频片段在所述时间交集的第二文本内容；

基于所述第一文本内容和所述第二文本内容，确定该文本框序列与该音频片段的匹配度。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一文本内容和所述第二文本内容，确定该文本框序列与该音频片段的匹配度，包括：

确定所述第一文本内容的第一文本长度、以及所述第二文本内容的第二文本长度；

确定所述第一文本内容和所述第二文本内容的第二文本相似度；

基于所述第二文本相似度、所述第一文本长度以及所述第二文本长度，确定该文本框序列与该音频片段的匹配度。