[发明专利]用于处理视频数据的方法及存储介质

说明书

视频效果应用程序在具有图像捕获设备的客户端设备上执行并接收由图像捕获设备捕获的视频数据。视频效果应用程序从捕获的视频数据中提取信息，并将提取的信息存储为与捕获的视频数据相关联的元数据。例如，视频效果应用程序识别所捕获的视频数据中的对象或识别所捕获的视频数据的光流，并将所识别的对象或所识别的光流存储为与所捕获的视频数据相关联的元数据。视频效果应用程序存储与捕获的视频数据相关联的描述对捕获的视频数据的修改的信息。当呈现捕获的视频数据时，将捕获的视频数据、相关联的元数据和描述修改的信息传送给渲染器，渲染器在呈现捕获的视频数据时使用元数据对捕获的视频数据执行所识别的修改。

背景技术

该公开内容总体上涉及通过客户端设备获得视频数据，更具体地，涉及用于在渲染所获得的视频数据时用附加内容来增强由客户端设备获得的视频数据的架构。

客户端设备的用户越来越多地经由包括在各种客户端设备中的图像捕获设备来捕获视频数据，并且与其他用户分享所捕获的视频。例如，通过与在客户端设备上执行的在线系统相关联的应用程序，客户端设备的用户将经由客户端设备捕获的视频数据或以其他方式经由客户端设备获得的视频数据分发给在线系统的其他用户。为了鼓励用户参与，许多应用程序允许客户端设备的用户修改由客户端设备获得的视频数据，并随后呈现经修改的视频数据。

例如，各种应用程序允许用户对由客户端设备获得的视频数据应用滤波器，或者将文本或图像叠加到由客户端设备获得的视频数据的部分上。然而，用于修改视频数据的常规应用程序接收对视频数据的修改，并从视频数据中提取信息以在渲染视频数据时执行修改。例如，为了在视频数据中检测到的面部上叠加图像，常规应用程序在渲染视频数据的同时对视频数据应用一种或多种检测方法，并且通过将图像叠加在视频数据的从中检测到面部的区域上来修改视频数据。由于从视频数据中提取信息的方法是计算密集型的，因此在渲染视频数据和执行修改的同时提取信息可能更快地耗尽客户端设备的资源，诸如存储在客户端设备的电池或其他电源中的电力。

发明内容

诸如智能电话或平板电脑的客户端设备包括被配置为捕获视频数据的图像捕获设备。在客户端设备上执行的视频效果应用程序接收捕获的视频数据，并在由客户端设备的显示设备呈现捕获的视频数据时增强捕获的数据或修改视频数据。例如，当呈现捕获的视频数据时，视频效果应用程序在捕获的视频数据上叠加额外的图像或文本。视频效果应用程序可以在视频数据被捕获时增强或以其他方式修改视频数据，或者可以在捕获视频数据的时间之后的一时间修改视频数据。

为了执行对视频数据的各种修改，视频效果应用程序经常从捕获的视频数据中提取信息，并且使用提取的信息来修改捕获的视频数据。例如，视频效果应用程序检测所捕获的视频数据中的一个或多个面部，并基于所检测的面部在所捕获的视频数据的各种帧中的位置将文本或图像应用于视频数据。为了更有效地使用客户端设备的电池，视频效果应用程序从捕获的视频数据中提取信息，并将提取的信息存储为与捕获的视频数据相关联的元数据。在各种实施方式中，视频效果应用程序将捕获的视频数据和与捕获的视频数据相关联的元数据提供给在线系统，允许在线系统随后将捕获的视频数据和相关联的元数据提供给其他客户端设备以供渲染。例如，客户端设备的用户经由客户端设备捕获视频，并向视频效果应用程序提供指令，以将捕获的视频和相关联的元数据传送到在线系统；用户还可以向在线系统指定在线系统的一个或多个其他用户来接收捕获的视频数据和相关联的元数据，并且在线系统将捕获的视频数据和相关联的元数据传送到与其他用户相关联的客户端设备。视频效果应用程序还存储识别在渲染捕获的视频数据时要对捕获的视频数据执行的修改的信息。例如，识别对捕获的视频数据的一个或多个修改的信息与捕获的视频数据要被执行修改的时间相关联地存储。描述一个或多个修改的信息也可以提供给在线系统，在线系统随后可以将描述一个或多个修改的信息与捕获的视频数据和与捕获的视频数据相关联的元数据一起提供给与其他用户相关联的客户端设备。