[发明专利]用于视觉效果的方法、系统和装置

说明书

一种用于产生视觉效果的方法、装置或系统，包括：处理来自提供对象的视频的第一相机的第一视频信号、来自跟踪对象的移动的跟踪信息、以及包括表示对象上的反射和对象的照明环境中的至少一个的信息的第二视频信号，以产生表示以下视频的经渲染的信号，在该视频中，被跟踪的对象被实时地替换为具有被跟踪的对象的反射和照明环境中的一个或多个的虚拟对象。

技术领域

本公开涉及用于针对诸如线性、交互式体验、增强现实、或混合现实之类的应用创建视觉效果的方法、系统和装置。

背景技术

本文描述的任意背景信息旨在向读者介绍可能与下面描述的本发明实施例相关的本领域的各个方面。相信该讨论有助于向读者提供背景信息以促进更好地理解本公开的各个方面。因此，应当理解，应该从这个角度来阅读这些陈述。

针对诸如电影、交互式体验、增强现实(AR)、和/或混合现实应用之类的应用创建视觉效果可以涉及用替代内容来替换在现实世界情况下捕获的图像或视频内容的部分。例如，相机可以被用来捕获汽车的特定模型的视频。然而，视频的特定用途可能需要用不同的模型来替换实际模型汽车，同时保留原始环境的细节(例如，周围或背景风景和细节)。现代图像和视频处理技术允许进行这类修改，使得具有被替换的部分(例如，不同的模型汽车)的所得图像或视频可以至少在某种程度上看起来是真实的。然而，在已经完成图像或视频捕获之后，创建足够程度的真实性通常需要显著的后处理工作(即，工作室或视觉效果设施中的后处理工作)。这类工作可以包括由诸如图形艺术家或设计者之类的创造性人员利用大量相关时间和成本投资而进行的密集和广泛的手动工作。

除了后处理所需的成本和时间之外，通过后处理添加真实性在初始图像或视频捕获期间提出了许多挑战。例如，因为在稍后添加效果以创建最终图像或视频，相机操作员或导演在捕获图像或视频的相机后面无法看到最终结果。也就是说，摄影师或导演无法看到他们实际拍摄的最终结果。这对诸如构图和主体取景(subject framing)之类的问题提出了挑战。对于主体如何适应最终场景，可能缺乏理解、或是不准确的理解。猜测工作需要处理诸如周围照明条件对最终结果的效果或影响(例如，主体是否被正确地照亮？)之类的问题。因此，需要能够利用增强处理在相机内对编辑实际视频的结果进行可视化。

发明内容

通常，实施例包括在拍摄期间实时地提供照片写实效果(photorealisticeffect)的可视化的方法或系统或装置。

根据本原理的一个方面，实施例包括产生视觉效果，包括使用图像传感器实时地合并表示来自一个或多个源的反射和/或照明的信息。

根据本原理的另一方面，实施例包括产生用于电影、交互式体验、增强现实、或混合现实的视觉效果，包括使用图像传感器实时地捕获并且合并来自一个或多个源的反射和/或照明。

根据本原理的另一方面，实施例包括产生用于电影、交互式体验、增强或混合现实的视觉效果，包括使用光传感器和图像传感器中的至少一个来实时地捕获并且合并来自一个或多个源的照明和/或反射。

根据本原理的另一方面，实施例包括产生用于电影、交互式体验、增强现实的视觉效果，包括使用一个或多个传感器来实时地捕获并且合并来自一个或多个源的照明和/或反射，该一个或多个传感器在位置上与提供要增强的视频馈送或图像信息以产生增强现实内容的相机不同。

根据本原理的另一方面，实施例包括产生诸如混合现实之类的视觉效果，包括使用一个或多个传感器来实时地捕获并且合并来自一个或多个源的照明和/或反射，该一个或多个传感器在位置上与向由用户穿戴的可穿戴设备提供视频馈送的相机不同，该用户的视觉在混合现实中被增强。