[发明专利]用于从多个图像帧生成概要故事板的系统和方法

说明书

本公开提供了从多个图像帧生成概要故事板的系统和方法。示例计算机实施的方法可以包括将多个图像帧输入到机器学习的模型中，并且接收描述在多个图像帧中识别的多个对象的相应位置的对象数据，作为机器学习的模型的输出。该方法可以包括生成分别包括多个对象的多个图像裁剪，并且布置多个图像裁剪中的两个或更多个以生成故事板。

技术领域

本公开总体上涉及视频和图像概要。更具体地，本公开涉及从多个图像帧生成概要故事板(storyboard)。

背景技术

生成图像集合或视频的图形概要可能既慢又乏味。例如，生成图形概要通常需要大量的计算资源，这使得在资源有限的设备(诸如智能手机)上执行这样的任务变得困难或不切实际。此外，生成这样的概要可能需要大量的用户输入，包括例如图像选择、图像布置等。

发明内容

本公开的实施例的方面和优点将在以下描述中部分阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。

本公开的一个示例方面针对从多个图像帧生成概要故事板的系统和方法。示例计算机实施的方法可以包括将多个图像帧输入到机器学习的模型中，并且接收描述在多个图像帧中识别的多个对象的相应位置的对象数据，作为机器学习的模型的输出。该方法可以包括生成分别包括多个对象的多个图像裁剪，并且布置该多个图像裁剪中的两个或更多个以生成故事板。

本公开的另一示例方面针对一种处理视频文件的计算机实施的方法。视频文件可以包括多个图像帧。该方法可以包括从多个图像帧中选择若干图像帧。该方法可以包括从多个预存图像布局中选择图像布局，并且每个图像布局可以包括对应于该若干图像帧的若干图像占位符。该方法可以包括使用机器学习的对象检测模型来检测对象在该若干图像帧的每一个中的位置。该方法可以包括基于在图像帧内的检测到的相应对象的位置来裁剪每个关键图像帧。该方法可以包括通过将多个裁剪的图像帧中的一个插入到所选择的图像布局中的每个图像占位符中，来将多个裁剪的图像帧与所选择的图像布局组合以生成输出图像。该方法可以包括输出生成的输出图像用于显示。

本公开的另一示例方面针对包括一个或多个处理器和一个或多个非暂时性计算机可读介质的计算机系统，计算机可读介质存储指令，当指令被一个或多个处理器执行时，使得计算机系统执行操作。操作包括从视频中选择多个图像帧，并将多个图像帧输入机器学习的模型。操作包括接收多个图像裁剪作为机器学习的模型的输出，并且布置多个图像裁剪中的两个或更多个以生成故事板。操作包括提供故事板以向用户显示。

本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。

参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。结合在本说明书中并构成其一部分的附图图示了本公开的示例实施例，并且与说明书一起用于解释相关原理。

附图说明

在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，其中：

图1A描绘了根据本公开的示例方面的生成故事板的示例计算系统的框图；

图1B描绘了根据本公开的示例方面的生成故事板的示例计算系统的框图；

图1C描绘了根据本公开的示例方面的生成故事板的示例计算系统的框图；

图2描绘了根据本公开的示例方面的示例故事板生成器的框图；

图3A和图3B描绘了根据本公开的示例方面的用于生成故事板的方法的示例实施例的流程图；

图4A和图4B描绘了根据本公开的示例方面的用于生成故事板的方法的示例实施例的流程图；和

图5描绘了根据本公开的示例方面的用于生成故事板的示例方法的流程图。