[发明专利]基于实况记录和基于计算机图形的媒体流的实时合成

权利要求书

1.一种用于提供合成媒体流的方法，其特征在于，包括：

使用真实摄影机记录真实场景；

基于所述记录生成所述真实场景的三维表示；

使虚拟场景内的虚拟摄影机与所述真实摄影机同步；

使用所述虚拟摄影机产生所述虚拟场景的表示；

至少将所述真实场景的所述三维表示与所述虚拟场景的所述表示合成，以产生媒体流；和

在所述真实摄影机提供所述媒体流。

2.如权利要求1所述的方法，其特征在于，与所述真实场景的所述记录同步地在所述真实摄影机实时提供所述媒体流。

3.如权利要求1所述的方法，其特征在于，所述真实摄影机是立体摄影机。

4.如权利要求1所述的方法，其特征在于，记录所述真实场景进一步包括使用一个以上的传感器，较佳地使用至少一个红外传感器，来获取所述真实场景的深度信息。

5.如权利要求1所述的方法，其特征在于，生成所述真实场景的所述三维表示包括基于所述记录计算深度信息。

6.如权利要求1所述的方法，其特征在于，生成所述真实场景的所述三维表示进一步包括基于所述记录，对于一个以上的虚拟对象产生数据，所述数据包括运动数据、网状结构和纹理中的至少一个。

7.如权利要求6所述的方法，其特征在于，生成所述真实场景的所述三维表示进一步包括基于当前记录，更新先前产生的虚拟对象的网状结构和纹理。

8.如权利要求6所述的方法，其特征在于，生成所述真实场景的所述三维表示进一步包括选择要包括在所述三维表示中的至少一些所述虚拟对象。

9.如权利要求6所述的方法，其特征在于，生成所述真实场景的所述三维表示进一步包括组合产生的数据，包括对于每个选择的虚拟对象，将所述虚拟对象的至少一些所述纹理应用到所述虚拟对象的所述网状结构上，以及使用所述运动数据将所述虚拟对象制作成动画。

10.如权利要求1所述的方法，其特征在于，使所述虚拟摄影机同步包括基于所述真实摄影机的至少一些摄影机参数，调整所述虚拟摄影机的摄影机参数。

11.如权利要求10所述的方法，其特征在于，调整摄影机参数包括调整所述真实摄影机的位置、取向、和速度中的至少一个。

12.如权利要求10所述的方法，其特征在于，从所述记录的立体图像、所述真实摄影机的运动跟踪数据、以及由所述真实摄影机提供的数据中的至少一个，获得至少一些所述摄影机参数。

13.如权利要求1所述的方法，其特征在于，产生所述虚拟场景的所述表示包括更新所述虚拟场景中的计算机图形对象。

14.如权利要求1所述的方法，其特征在于，所述合成包括使用所述真实摄影机和虚拟摄影机的至少一个参数以及一个以上的参考对象，使所述真实场景的所述三维表示与所述虚拟场景的所述表示同步。

15.一种摄影机装置，其特征在于，包括：

用于记录真实场景的设备；

输出接口，被结合到用于记录的所述设备，被配置成提供所述记录；

输入接口，被配置成接收媒体流；和

被结合到所述输入接口的用于提供所述媒体流的设备，其中，通过将所述真实场景的至少三维表示与虚拟场景的表示合成来产生所述媒体流，其中，基于所述记录生成所述真实场景的所述三维表示，以及使用所述虚拟场景内的虚拟摄影机来产生所述虚拟场景的所述表示，所述虚拟摄影机与所述摄影机装置同步。

16.如权利要求15所述的装置，其特征在于，与所述真实场景的所述记录同步地实时提供所述媒体流。

17.如权利要求15所述的装置，其特征在于，所述装置是立体摄影机。

18.如权利要求15所述的装置，其特征在于，进一步包括被配置成获取所述真实场景的深度信息的一个以上的传感器，较佳地包括至少一个红外传感器。

19.如权利要求15所述的装置，其特征在于，进一步包括控制所述摄影机装置的控制设备，所述控制设备包括被结合到所述摄影机的机械控制器、触摸板和远程装置中的至少一个。