[发明专利]用于计算机视觉分析的关键帧选择

说明书

在触发事件时，分析视频馈送的帧的活动或运动。基于与从所述帧导出的一个或多个度量相关联的一个或多个量度，将一个帧或所述帧的子集选择为一个关键帧/多个关键帧。所述一个关键帧/多个关键帧最佳地反映跨所述帧的活动或运动程度。然后将所述一个关键帧/多个关键帧作为输入提供给计算机视觉或机器学习应用程序，以提高由所述应用程序产生的结果或由所述应用程序作出的决定的效率、准确度和/或精度。

背景技术

关键帧在计算机视觉和机器学习应用程序中起着重要作用。关键帧选择是一种减少在关键时间运行而不是针对视频序列的每一个帧运行的计算机视觉处理量的方法，针对视频序列的每一个帧运行的计算机视觉处理对于从视频序列的帧中标识或检测所需内容的计算成本十分高昂。关键帧还用于通过确保复杂的机器学习分类和计算机视觉算法不会不必要地在视频馈送的虚假、冗余或不重要的部分上运行，最大程度地提高准确度并且最大程度地减少错误。

此外，关键帧通常用于视频编码算法中，以创建可重置编码器状态的简单检查点。对以此方式选择和使用的关键帧的选择通常在一定的少量时间后进行。例如，“关键帧间隔”可以为每30帧1个关键帧。一旦累积了一定数量的错误或帧间差异并且编码器确定需要“重置事件”，也可以在视频编码中选择关键帧。

关键帧在视频分析中的另一种用途是用于场景(Cutscene)检测。场景检测是分析视频并且检测何时进行视频剪辑“剪切”的过程。这通常可以由视频内容的突然变化来表示，并且可以通过帧差异或光流分析进行检测。

由于图像的处理和分类在计算机视觉技术和机器学习技术中至关重要，因此选择合适的图像进行操作是这些行业所面临的根本问题。

发明内容

在各种实施方案中，提出了用于关键帧选择和确定的方法和系统。

根据一个实施方案，提出了一种用于关键帧选择和确定的方法。例如，确定触发事件并且基于触发事件获得视频馈送的帧。从帧的子集标识终止事件。基于计算的量度来选择/确定至少一个关键帧，该至少一个关键帧表示帧的子集中的活动或运动的最佳表示。提供至少一个关键帧作为帧的子集的活动或运动的最佳表示。

附图说明

图1A是根据示例性实施方案的用于关键帧选择和确定的系统的图。

图1B是根据示例性实施方案的描绘一些帧内的活动的所捕获视频的示例性帧。

图1C是根据示例性实施方案的反映来自图1B的视频的每个示例性帧内检测到的活动量的扫掠(sweeping)活动的图。

图1D是示出根据示例性实施方案的从来自图1B的视频的示例性帧中选择关键帧的图。

图1E是示出根据示例性实施方案的来自图1B的视频的示例性帧的稳定性、噪声和运动的区域的图。

图1F是根据示例性实施方案的用于在来自图1D的关键帧内进行对象检测和跟踪的分析关键帧的图。

图2是根据示例性实施方案的用于关键帧检测和确定的方法的图。

图3是根据示例性实施方案的用于关键帧检测和确定的另一种方法的图。

具体实施方式

图1A是根据示例性实施方案的用于关键帧选择和确定的系统100的图。应注意，组件是以大大简化的形式示意性地示出，其中仅绘示了与对实施方案的理解相关的那些组件。

此外，仅出于图解目的，图示了各种组件(标示于图1中)并呈现了所述组件的布置。应注意，在不脱离本文和下文所呈现的关键帧选择和确定的教导内容的情况下，具有更多或更少组件的其他布置也是可能的。

系统100包括一个或多个相机110和服务器120。