[发明专利]字幕信息检测方法、装置、设备以及存储介质

说明书

本申请实施例公开了一种字幕信息检测方法、装置、设备以及存储介质，可适用于人工智能、云计算、计算机视觉等领域。该方法包括：确定目标视频的每个视频帧中的各文本框，并确定至少一个文本框序列；确定目标视频对应的每个音频片段对应的文本内容；基于各文本框序列以及对应的第一时间区间、各音频片段对应的第二时间区间和文本内容，确定每个文本框序列与各音频片段的匹配度；基于每个文本框序列与各音频片段的匹配度，从各文本框序列中确定出包括字幕信息的目标文本框序列；基于各目标文本框序列确定目标视频的字幕信息。采用本申请实施例，可提升确定字幕信息的准确率和效率，适用性高。

技术领域

本申请涉及人工智能领域，尤其涉及一种字幕信息检测方法、装置、设备以及存储介质。

背景技术

随着计算机和多媒体技术的不断发展，视频已经成为重要的信息传播载体，大多数视频往往包括字幕信息以辅助视频内容的表达。并且检测视频中的字幕也成为主要技术需求，如在对视频字幕进行翻译时需要提前获取到视频的字幕信息才能对字幕信息进行翻译。

现有的字幕信息检测方式往往是通过简单的文本识别技术识别视频帧中的字幕信息，但是若视频的各视频帧中包括较多的非字幕信息，如包括大量的地图标记信息、广告文字等信息时，现有技术往往不能准确检测到视频中的字幕信息。因此，如何准确检测到视频的字幕信息成为亟需解决的问题。

发明内容

本申请实施例提供一种字幕信息检测方法、装置、设备以及存储介质，可准确检测视频中的字幕信息，适用性高。

一方面，本申请实施例提供一种字幕信息检测方法，该方法包括：

确定目标视频的每个视频帧中的各文本框，基于各上述文本框确定至少一个文本框序列，每个上述文本框序列中的任意两个文本框位于不同的视频帧；

确定上述目标视频对应的每个音频片段对应的文本内容；

基于每个上述文本框序列以及对应的第一时间区间、各上述音频片段对应的第二时间区间和文本内容，确定每个上述文本框序列与各上述音频片段的匹配度；

基于每个上述文本框序列与各上述音频片段的匹配度，从各上述文本框序列中确定出包括字幕信息的目标文本框序列；

基于各上述目标文本框序列确定上述目标视频的字幕信息。

另一方面，本申请实施例提供了一种字幕信息检测装置，该训练装置包括：

文本框确定模块，用于确定目标视频的每个视频帧中的各文本框，基于各上述文本框确定至少一个文本框序列，每个上述文本框序列中的任意两个文本框位于不同的视频帧；

语音识别模块，用于确定上述目标视频对应的每个音频片段对应的文本内容；

匹配度确定模块，用于基于每个上述文本框序列以及对应的第一时间区间、各上述音频片段对应的第二时间区间和文本内容，确定每个上述文本框序列与各上述音频片段的匹配度；

字幕确定模块，用于基于每个上述文本框序列与各上述音频片段的匹配度，从各上述文本框序列中确定出包括字幕信息的目标文本框序列；

上述字幕确定模块，用于基于各上述目标文本框序列确定上述目标视频的字幕信息。

另一方面，本申请实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；

上述存储器用于存储计算机程序；

上述处理器被配置用于在调用上述计算机程序时，执行本申请实施例提供的字幕信息检测方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本申请实施例提供的字幕信息检测方法。

另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序，上述计算机程序被处理器执行时实现本申请实施例提供的字幕信息检测方法。