[发明专利]经由密集运动域向底层视频序列的图像编辑传播

说明书

技术领域

本发明总地涉及视频编辑的领域。更具体地，本发明涉及一种用于编辑包括多个帧的视频序列的方法和装置。

背景技术

本部分意图向读者介绍本领域的各种方面，其可以涉及下文描述和/或要求保护的本发明的各种方面。本讨论被认为有助于向读者提供便于更好地理解本发明的各种方面的背景信息。因此，应理解应从该角度阅读这些陈述，并且不作为现有技术的认可。

已知其中修改单个图像(照片)的照片编辑应用。若干工具当前对于专业艺术家或对于家庭用户可用。在可以应用的图像修改任务的巨大调色板中，我们可以提及：重新着色、染色、模糊、绘画/绘制、与每区域效果应用相关联的分割/掩蔽、克隆、图像修补(inpainting)、纹理插入、标识插入、对象移除等。

随着现代视频捕捉、处理和流式系统的出现，由终端用户捕捉的或来自专业镜头(影片、公众信息、SFX)的大量视频数据是可用的，并且视频编辑工具变得更加普及。

首先，在单个图像的水平上进行推理，人们希望能够对整个视频序列执行前面提及的图像修改任务。然而，在这种照片编辑应用中手动编辑视频的每一个帧对于操作者是非常耗时和痛苦的。

其次，在视频(多个图像)的水平上进行推理，在例如AdobeAfterEffects软件的多个专业视频编辑应用中提供了解决方案用于作为整体修改视频。已知用于从第一帧向随后的帧传播信息的方法。例如，与AdobeAfterEffects软件捆绑的所谓的工具“RotoBrush”有关的文件US2010/0046830A1描述了用于传播分割掩蔽的方法。其包括通常由用户提供的初始化，基于从先前分割的帧和原始帧提取的组合颜色模型和运动估计将下一帧自动分割为两个类(前景/背景)。然而，用于分割的自动时间传播的这种方法依赖于信息的顺序传播。用户能够在继续传播到随后的图像之前校正自动分割，但是用户在没有将处理应用于全部中间帧的情况下，不能校正视频序列的任何帧和看到传播到任何其他帧的结果。因此，这种方法不提供对于交互式多帧编辑任务对于序列的若干帧同时显示结果的显示界面。在相同领域中，WO2012/088477公开了在整个视频序列上使用掩蔽自动应用颜色或深度信息。此外，WO2012/088477提供了显示界面，其中同时显示一系列顺序帧并且准备经由自动掩蔽调整方法的掩蔽传播到随后的帧。然而，WO2012/088477并未公开任意修改单个像素。WO2012/088477使用掩蔽传播处理以确定在整个前景或移动对象掩蔽(或分割)上的何处应用图像变换或不应用图像变换。第一帧中的掩蔽被识别为对应于随后的帧中的相同对象。然而，第一帧的每一个像素根本不能与随后的帧中的像素匹配，并且这不能从掩蔽传播处理推导。这使得现有技术不可能通过瞬间传播应用逐点操作。逐像素图像编辑工具(画笔、橡皮擦、绘制、油漆桶……)不能使用在WO2012/088477中使用的掩蔽一般地外推到视频。

第三，在用于修改3D对象的纹理的视频编辑方法的领域中提供了解决方案。例如，EP1498850公开了基于简单的纹理图像自动呈现(render)3D对象的图像，通过更新3D模型修改所呈现的图像和传播所述修改。然而，该方法不适用于从其中不像在3D合成中的、操作者不能获取模型的源获得的视频图像。

视频编辑应用的高度希望的功能是能够在像素水平上编辑序列的任何图像并且自动传播所述改变到序列的剩余图像。

发明内容

本发明针对用于同时编辑和可视化若干视频帧，同时将应用于一个图像的改变传播到其他图像的方法。

在第一方面中，本发明针对由处理器执行的用于编辑视频序列的方法，包括下列步骤：显示所述视频序列的母帧；捕捉表示由用户应用于所述显示的母帧的帧编辑任务的信息，其中所述帧编辑任务修改与所述显示的母帧的至少一个像素有关的信息；以及同时显示所述视频序列的至少一个子帧，其中所捕捉的信息被时间传播，其中基于所述母帧和所述至少一个子帧之间的运动域(motionfield)，将表示帧编辑任务的信息传播到与所显示的母帧的至少一个像素对应的所述至少一个子帧中的至少一个像素。

根据进一步的有利特征，所述方法包括显示将所述母帧链接到所述至少一个子帧的视觉元素，其中当由用户输入禁用所述视觉元素时，禁用所述捕捉的信息向所述至少一个子帧的时间传播。

根据另一有利特征，所述至少一个子帧包括远离所述母帧至少一个帧的所述视频序列的任何帧。

根据另一有利特征，所述捕捉的信息通过从参考类型的运动域从所述母帧时间传播到所述至少一个子帧。