[发明专利]用于对多个视频样本进行故事线布局可视化的方法和系统

说明书

本发明公开了用于对多个视频样本进行故事线布局可视化的方法和系统，该方法包括接收多个视频样本，其中，多个视频样本的每个视频样本对应一个事件，多个视频样本对应同一事件类型，并且多个视频样本的每个视频样本包含多个帧；获得多个视频样本中任意两个视频样本的帧之间的对应关系；根据获得的任意两个视频样本的帧之间的对应关系，确定多个视频样本的帧在故事线的时间轴上的位置；以及对多个视频样本的帧进行可视化展示。本发明的方法可以对多个视频样本提高标注效率。

技术领域

本发明涉及数据的可视化，特别地，本发明涉及一种用于对多个视频样本进行故事线布局可视化的方法、系统以及计算机可读存储介质。

背景技术

视频事件的检测，尤其是对视频中事件的定位在很多领域都有着广泛的运用，如安全监控、视频审核、野生动物监测等。视频事件定位模型需要大量人力在视频中标注事件，需要标注视频中事件的精确起始位置和终止位置，才能获得高质量的训练样本，从而训练高性能的视频事件定位模型。常用的视频事件标注方法是让人观看视频，然后标注出视频中事件的精确起始位置和终止位置。然而，这种标注方法十分费时。据调研显示，使用该方法标注一个视频需要花费5倍于该视频时长的时间。为此，需要一种有效的方法辅助人标注视频事件的精确起始位置和终止位置，提高标注效率。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

根据本发明的一个方面，提出了一种用于对多个视频样本进行故事线布局可视化的方法，包括：多个视频样本，其中，所述多个视频样本的每个视频样本对应一个事件，所述多个视频样本对应同一事件类型，并且所述多个视频样本的每个视频样本包含多个帧；获得所述多个视频样本中任意两个视频样本的帧之间的对应关系；根据所述获得的任意两个视频样本的帧之间的对应关系，确定所述多个视频样本的帧在故事线的时间轴上的位置；以及对所述多个视频样本的帧进行可视化展示。

根据本发明的另一个方面，提出了一种用于对多个视频样本进行故事线布局可视化的系统，包括：一个或多个处理器；一个或多个存储装置，所述一个或多个存储装置存储有计算机代码指令，所述计算机代码指令由所述一个或多个处理器执行时，实现如上方面提出的用于视频事件定位模型的学习样本选择的方法。

根据本发明的另一个方面，提出了一种计算机可读存储介质，其上存储有计算机可读代码，当所述计算机可读代码被处理器执行时，执行如本发明的如上方面提出的用于视频事件定位模型的学习样本选择的方法。

根据本发明的又一个方面，提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本发明的如上方面提出的用于视频事件定位模型的学习样本选择的方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了一个常用的视频事件标注软件示例；

图2示出了根据本发明的一个或多个实施例的同一事件类型的三个视频样本中对应的帧对齐摆放并进行可视化的示例；

图3示出了根据本发明的一个或多个实施例的一种用于对多个视频样本进行故事线布局可视化的方法的流程图；

图4示出了利用现有技术从视频得到的一个举重事件的多个帧的示例；

图5示出了根据本发明的一个或多个实施例的获得两个视频样本的帧之间的对应关系的一种实现方法的流程图；

图6A示出了根据本发明的一个或多个实施例的获得任意两个视频样本的第一视频包含的每个帧在任意两个视频样本的第二视频中的对应帧的示例；