[发明专利]一种字幕跟踪方法、装置及电子设备

说明书

本发明实施例提供了一种字幕跟踪方法、装置及电子设备。其中，所述方法包括：基于待处理视频中各视频帧的字幕位置信息与时序关系，对各视频帧进行第一聚类处理，得到多个第一视频帧集合，其中，任意一个所述第一视频帧集合中各视频帧的字幕位置信息相匹配；提取所述第一视频帧集合中各视频帧的文字特征；基于各视频帧的文字特征与所述时序关系，对各第一视频帧集合分别进行第二聚类处理，得到多个第二视频帧集合，其中，任意一个所述第二视频帧集合中各视频帧的文字特征相匹配。可以有效提字幕跟踪的准确性。

技术领域

本发明涉及多媒体技术领域，特别是涉及一种字幕跟踪方法、装置及电子设备。

背景技术

在一些应用场景中，出于实际需求需要对视频进行字幕跟踪处理，以确定出具有相同字幕的视频帧。相关技术中，可以检测视频帧中字幕所处的图像区域，并提取图像区域的图像特征，通过计算图像特征的相似度判断不同视频帧中的字幕是否相同。

但是，视频帧中字幕往往是覆盖在视频画面之上的，因此字幕所处的图像区域中除了字幕还存在背景画面，由于不同的视频帧的视频画面不完全相同，因此在视频跟踪过程中，即使两个视频帧中的字幕相同，也可能由于字幕所处图像区域中背景画面的变化，使得该两个视频帧中字幕所处图像区域的图像特征差别较大，进而导致错误地将该两个视频帧判断为具有不同字幕的视频帧。

因此，如何准确地对视频中的字幕进行跟踪成为亟待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种字幕跟踪方法、装置及电子设备，用以提高字幕跟踪的准确性。具体技术方案如下：

在本发明实施例的第一方面，提供了一种字幕跟踪方法，所述方法包括：

基于待处理视频中各视频帧的字幕位置信息与时序关系，对各视频帧进行第一聚类处理，得到多个第一视频帧集合，其中，任意一个所述第一视频帧集合中各视频帧的字幕位置信息相匹配；

提取所述第一视频帧集合中各视频帧的文字特征；

基于各视频帧的文字特征与所述时序关系，对各第一视频帧集合分别进行第二聚类处理，得到多个第二视频帧集合，其中，任意一个所述第二视频帧集合中各视频帧的文字特征相匹配。

在本发明实施例第二方面，提供了一种字幕跟踪装置，所述装置包括：

第一聚类模块，用于基于待处理视频中各视频帧的字幕位置信息与时序关系，对各视频帧进行第一聚类处理，得到多个第一视频帧集合，其中，任意一个所述第一视频帧集合中各视频帧的字幕位置信息相匹配；

特征提取模块，用于提取所述第一视频帧集合中各视频帧的文字特征；

第二聚类模块，用于基于各视频帧的文字特征与所述时序关系，对各第一视频帧集合分别进行第二聚类处理，得到多个第二视频帧集合，其中，任意一个所述第二视频帧集合中各视频帧的文字特征相匹配。

在本发明实施例的第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。