[发明专利]通过帧选择的实时超延时视频创建

权利要求书

1.一种计算系统，包括：

至少一个处理器；以及

包括被配置为从输入视频创建输出超延时视频的视频生成系统的存储器，所述视频生成系统由所述至少一个处理器执行，所述视频生成系统包括：

被配置为计算指示在所述输入视频的帧对之间的重叠的值的帧匹配组件，指示在帧对之间的重叠的值是基于所述帧对中的每一个帧的稀疏点集来计算的；

被配置为从所述输入视频选择所述帧的子集的路径选择组件，所述帧的子集基于在所述输入视频的各帧对之间的重叠的值、目标帧加速率以及加速度惩罚值来选择，所述加速度惩罚值对在从所述输入视频中选择出的所述帧的子集上的实际帧加速率中的变化进行惩罚；以及

被配置为基于帧的子集生成输出超延时视频的渲染组件，所述输出超延时视频是在无需所述输入视频的除所述帧的子集之外的剩余帧的情况下被生成的。

2.如权利要求1所述的计算系统，其特征在于，所述帧匹配组件进一步被配置为基于在该帧对中的各帧之间的所述稀疏点集的移动计算所述指示在该帧对之间的重叠的值。

3.如权利要求1所述的计算系统，其特征在于，还包括：

数据存储；

图像传感器；以及

存储器还包括可由所述至少一个处理器执行的视频捕捉系统，所述视频捕捉系统将来自所述图像传感器的输出数据作为所述输入视频存储在所述数据存储中。

4.如权利要求3所述的计算系统，其特征在于，所述帧匹配组件还被配置为并发计算所述指示在所述输入视频中的各帧对之间的重叠的值，同时所述视频捕捉系统将来自所述图像传感器的所述输出数据作为所述输入视频保存。

5.如权利要求1所述的计算系统，其特征在于，所述视频生成系统还包括被配置为接收输入视频的接口组件，所述输入视频由异构计算系统的图像传感器捕捉。

6.如权利要求1所述的计算系统，其特征在于，所述渲染组件还被配置为在所述帧的子集上执行视频稳定。

7.如权利要求1所述的计算系统，其特征在于，所述路径选择组件还被配置为从所述输入视频选择优化所述输出超延时视频中的相邻帧之间的重叠和归因于来自所述目标帧加速率的变化的成本的所述帧的子集。

8.如权利要求1所述的计算系统，其特征在于，所述目标帧的加速率指定X的值，以使得所述输入视频的每第X个帧被期望地选择，而所述输入视频的剩余帧则被期望地跳过。

9.如权利要求8所述的计算系统，其特征在于，所述路径选择组件还被配置为从输入视频中选择优化输出超延时视频中的相邻帧之间的重叠、归因于来自目标帧加速率的变化的成本以及归因于在从输入视频中选择出的帧的子集上的实际帧加速率中的变化的成本的所述帧的子集。

10.如权利要求1所述的计算系统，其特征在于，在从所述输入视频选择的帧的子集的至少一部分上，所述目标帧加速率可以与实际帧加速率不同。

11.如权利要求1所述的计算系统，其特征在于，所述帧匹配组件还被配置为：

计算在所述输入视频的帧对之间的基于特征的变换；

根据所述基于特征的变换对准所述帧对；以及

计算指示当被对准时在所述输入视频的各帧对之间的重叠的值。

12.如权利要求11所述的计算系统，其特征在于，所述帧匹配组件进一步被配置为通过链接在不同的帧对之间的两个或更多不同的基于特征的变换来计算在给定帧对之间的给定基于特征的变换。

13.如权利要求1所述的计算系统，其特征在于，所述视频生成系统还包括被配置为基于所述输入视频的帧的相机速度计算在输入视频的各帧上的目标帧加速率。