[发明专利]生成视频

说明书

用于生成视频的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一方面，一种方法包括：接收：(i)包括视频帧序列的输入视频，和(ii)指示目标对象类型的数据；处理输入视频以生成跟踪数据，跟踪数据识别和跟踪输入视频中的目标对象类型的目标对象的一个或多个实例的可视位置；基于输入视频和跟踪数据生成多个子视频，包括：对于每个子视频，生成子视频帧的相应序列，每个子视频帧从输入视频的相应视频帧中提取，以包括来自目标对象类型的识别目标对象中的给定目标对象的相应实例；以及生成包括多个子视频的输出视频。

背景技术

本说明书涉及生成视频。

互联网促进了全球用户之间的信息交流。来自多个不同提供商的内容(包括视频)可以被集成到单个电子文档中，以创建复合文档。例如，在电子文档中包括的内容的一部分可以由电子文档的发布者选择(或指定)。内容的不同部分(例如，第三方内容，包括视频)可以由第三方(例如，不是电子文档的发布者的实体)提供，并被集成到电子文档中以形成包括来自多个不同来源的内容的复合文档。

发明内容

本说明书描述了被实现为在一个或多个位置的一个或多个计算机上的计算机程序的系统，该系统可以处理输入视频以从输入视频中提取多个子视频，每个子视频显示目标对象类型的相应对象。系统可以组合显示目标对象类型的对象的子视频以生成“热门(topical)”视频(例如，其包括与给定主题相关的目标对象类型)。热门视频可以被集成到数字组件中，数字组件被发送以在用户设备与电子文档一起呈现，例如，在搜索结果旁边的块中或在第三方网站上。

根据第一方面，提供了一种由一个或多个数据处理装置执行的方法，所述方法包括：接收：(i)包括视频帧序列的输入视频，以及(ii)指示目标对象类型的数据；处理输入视频以生成跟踪数据，跟踪数据识别和跟踪输入视频中目标对象类型的目标对象的一个或多个实例的可视位置；基于输入视频和跟踪数据生成多个子视频，包括：对于每个子视频，生成子视频帧的相应序列，每个子视频帧从输入视频的相应视频帧中提取，以包括来自目标对象类型的识别目标对象中的给定目标对象的相应实例，其中，子视频帧中的至少一个从输入视频的相应视频帧裁剪，以包括少于相应视频帧的所有内容；以及生成包括多个子视频的输出视频。

在一些实现中，处理输入视频以生成跟踪数据包括，对于输入视频中的所述目标对象类型的目标对象的每个实例：对于输入视频的多个视频帧中的每一个，确定包围视频帧中的目标对象的实例的相应边界框。

在一些实现中，对于每个子视频，生成子视频帧的相应序列包括：从输入视频的多个视频帧中的每一个裁剪包围与子视频相对应的给定目标对象的实例的相应边界框。

在一些实现中，对于每个子视频，生成子视频帧的相应序列包括：基于跟踪数据确定包围与输入视频的多个视频帧中的每一个中的子视频相对应的给定目标对象的实例的相同边界框；以及从输入视频的多个视频帧中的每一个裁剪相同边界框。

在一些实现中，第一子视频的子视频帧和第二子视频的子视频帧各自从输入视频的相同视频帧裁剪。

在一些实现中，生成包括多个子视频的输出视频包括：将多个子视频中的每个子视频分配到定义用于组合多个子视频的格式的视频模板中的相应时隙。

在一些实现中，所述方法还包括：接收一个或多个附加数据元素；以及将每个附加数据元素分配给视频模板中的相应时隙。

在一些实现中，每个附加数据元素包括图像数据、文本数据或两者。

在一些实现中，输出视频同时显示多个子视频中的子视频中的至少两个。

在一些实现中，所述方法还包括：接收对数字组件的请求；确定包括输出视频的数字组件响应于请求；以及提供数字组件，所述数字组件包括响应于将与搜索结果一起呈现或在第三方网页上呈现的请求的输出视频。