[发明专利]用于视觉效果的方法、系统和装置

权利要求书

1.一种方法，包括：

从提供对象的视频的第一相机接收第一视频信号；

跟踪所述对象以产生指示所述对象的移动的跟踪信息；

接收包括视频信息的第二视频信号，所述视频信息与来自安装在所述对象上的相机阵列中所包括的多个相机中的相应相机的多个输出信号的拼接相对应，其中，所述第二视频信号捕获所述对象上的反射和所述对象的照明环境中的至少一个；以及

处理所述第一视频信号、所述跟踪信息、和所述第二视频信号以生成表示以下视频的经渲染的信号，在该视频中，被跟踪的所述对象已经被实时地替换为具有被跟踪的所述对象的所述反射和所述照明环境中的一个或多个的虚拟对象。

2.根据权利要求1所述的方法，其中，被跟踪的所述对象可以包括一个或多个光源，所述一个或多个光源从被跟踪的所述对象发射光以表示从所述虚拟对象发射的光的颜色、方向性、和强度中的一个或多个。

3.根据权利要求1或2所述的方法，其中，所述处理包括：实时地合并来自传感器的信息，其中，来自所述传感器的信息表示来自一个或多个源的反射和/或照明，用于产生包括所述虚拟对象的视觉效果。

4.根据权利要求3所述的方法，其中，所述处理还包括：将包括所述虚拟对象的视觉效果包括在电影、交互式体验、增强现实制作、或混合现实制作中的一个或多个中。

5.根据权利要求3或4所述的方法，其中，来自所述传感器的信息包括来自光传感器和图像传感器中的至少一个的信息。

6.根据权利要求3至5中任一项所述的方法，其中，来自所述传感器的信息包括来自一个或多个传感器的信息，所述一个或多个传感器在位置上与提供要增强的视频馈送或图像信息以产生增强现实内容的相机不同。

7.根据权利要求6所述的方法，其中，所述要增强的视频馈送或图像信息包括被提供给由用户穿戴的可穿戴设备的视频馈送或图像信息，所述用户的视觉在混合现实中被增强。

8.根据权利要求2至7中任一项所述的方法，还包括：使用来自所述传感器的信息来计算在位置上与所述传感器不同的一个或多个虚拟对象的照明图和反射图中的至少一个。

9.根据前述权利要求中任一项所述的方法，还包括：使用有线连接和无线连接中的至少一个来传输照明信息和反射信息中的至少一个。

10.根据前述权利要求中任一项所述的方法，还包括：使用经采样的现实世界光源来实时地修改虚拟对象的照明。

11.根据前述权利要求中任一项所述的方法，其中，所述处理包括：响应于所述跟踪信息而产生表示所述虚拟对象的放置的位置矩阵，以及响应于所述位置矩阵而生成包括所述虚拟对象的所述经渲染的信号。

12.根据前述权利要求中任一项所述的方法，其中，跟踪所述对象包括：使用固定到被跟踪的所述对象的一个或多个基准点中的至少一个基准点以及单独且唯一的镜头校准图表来校准所述第一相机的镜头。

13.根据前述权利要求中任一项所述的方法，其中，处理包括：处理经拼接的输出信号以执行所述经渲染的信号中的基于图像的照明。

14.一种非暂态计算机可读介质，其存储有可执行程序指令，使得计算机执行所述指令以执行根据权利要求1至13中任一项所述的方法。