[发明专利]用于从多个图像帧生成概要故事板的系统和方法

权利要求书

1.一种计算机实施的方法，所述方法包括：

由一个或多个计算设备将多个图像帧输入到机器学习的模型中；

由所述一个或多个计算设备接收描述在所述多个图像帧中识别的多个对象的相应位置的对象数据，作为机器学习的模型的输出；

由所述一个或多个计算设备生成分别包括所述多个对象的多个图像裁剪；和

由所述一个或多个计算设备布置所述多个图像裁剪中的两个或更多个以生成故事板。

2.根据权利要求1所述的计算机实施的方法，还包括：

由所述一个或多个计算设备提供所述故事板以向用户显示。

3.根据任一前述权利要求所述的计算机实施的方法，其中：

所述一个或多个计算设备包括智能手机；和

所述故事板具有和与所述智能手机的显示屏相关联的屏幕纵横比相匹配的故事板纵横比。

4.根据任一前述权利要求所述的计算机实施的方法，还包括：

由所述一个或多个计算设备将风格化效果应用于被布置来形成所述故事板的两个或更多个图像裁剪。

5.根据任一前述权利要求所述的计算机实施的方法，还包括，在所述输入之前：

由一个或多个计算设备接收视频；

由所述一个或多个计算设备从所述视频中选择所述多个图像帧，以形成概述所述视频的概要帧集。

6.根据任一前述权利要求所述的计算机实施的方法，还包括：

由所述一个或多个计算设备将所述视频分割成多个视频片段；

其中，由所述一个或多个计算设备从所述视频中选择所述多个图像帧包括从所述多个视频片段中的每一个中选择至少一个图像帧，以形成概述所述视频的概要帧集。

7.根据权利要求6所述的计算机实施的方法，其中，由所述一个或多个计算设备将所述视频分割成所述多个视频片段包括以下之一：

由所述一个或多个计算设备将所述视频分割成多个长度相等的视频片段；

由所述一个或多个计算设备至少部分基于在所述视频内检测到的运动将所述视频分割成所述多个视频片段；

由所述一个或多个计算设备至少部分基于在所述视频内检测到的场景变化将所述视频分割成所述多个视频片段；和

由一个或多个计算设备至少部分地基于在所述视频内检测到的对象将所述视频分割成所述多个视频片段。

8.根据任一前述权利要求所述的计算机实施的方法，其中，所述多个图像帧包括来自编码的视频的多个关键帧。

9.根据权利要求5所述的计算机实施的方法，其中，由所述一个或多个计算设备从所述视频中选择所述多个图像帧包括以下之一：

由所述一个或多个计算设备至少部分基于在所述视频内检测到的运动从所述视频中选择所述多个图像帧；

由所述一个或多个计算设备至少部分基于在所述视频内检测到的场景变化从所述视频中选择所述多个图像帧；

由所述一个或多个计算设备至少部分基于在所述视频内检测到的对象从所述视频中选择所述多个图像帧；和

由所述一个或多个计算设备至少部分基于消除相似图像帧来从所述视频中选择所述多个图像帧。

10.根据任一前述权利要求所述的计算机实施的方法，其中：

由所述一个或多个计算设备接收所述对象数据包括，由所述一个或多个计算设备接收描述在所述多个图像帧中识别的多个对象的相应位置的多个边界形状；和

由所述一个或多个计算设备生成所述多个图像裁剪包括，由所述一个或多个计算设备至少部分基于所述多个边界形状生成所述多个图像裁剪。