[发明专利]用于将用户特定内容融合到视频制作中的方法和系统

权利要求书

1.一种将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法，所述方法包括：

由视频处理服务器接收包括多个帧的视频内容，其中所述多个帧中的每一个表示包括背景表面和感兴趣对象的场景；

由所述视频处理服务器为所述多个帧的帧子集的每个帧导出虚拟摄像机模型，所述虚拟摄像机模型将相应帧的每个像素与在所述场景中的与相应帧的像素相关联的真实世界地理位置相关联；

由所述视频处理服务器为所述帧子集的每一帧生成前景掩模，所述前景掩模包括与所述感兴趣对象相关的像素；

由所述视频处理服务器向所述多个观看者终端中的至少一些广播所述视频内容，其中所述帧子集的每一帧伴随有包括所述相应帧的虚拟摄像机模型和前景掩模的元数据；以及

在所述视频内容的所述帧子集的帧的至少部分中，由所述多个观看者终端中的至少一些使用所述相应帧的虚拟摄像机模型用与其观看者终端相关联的观看者特定图形内容的像素替换被包含在所述背景表面的至少一个预定内容插入区域内的所述相应帧中的除了由所述相应帧的前景掩模指示的像素以外的所有像素。

2.根据权利要求1所述的方法，还包括由所述视频处理服务器接收至少一个视频流，并且进一步基于其所述至少一个视频流来生成所述视频内容。

3.根据权利要求2所述的方法，还包括由所述视频处理服务器在直播事件设置中或者在体育赛事出现之后选择性地创建所述至少一个视频流的部分的组合和/或削减，以从而生成所述视频内容。

4.根据权利要求1-3中的任一项所述的方法，还包括由所述视频处理服务器基于生成相应的虚拟摄像机模型已被导出的帧的摄像机的物理参数导出虚拟摄像机模型的子集中的每一个。

5.根据权利要求4所述的方法，还包括由所述视频处理服务器使用下列项中的至少一个来确定相应摄像机的物理参数：位于所述摄像机上的传感器、计算机视觉方法和/或通过使用多个摄像机进行的所述场景的全景捕获。

6.根据权利要求1-5中的任一项所述的方法，还包括由所述视频处理服务器基于视频内容的所述多个帧中的包括与所述场景的所述背景表面相关的像素的至少一些帧来生成背景图像。

7.根据权利要求6所述的方法，还包括由所述视频处理服务器从所述视频内容的所述帧子集的每一帧减去所述背景图像，以产生前景掩模的相应子集。

8.根据权利要求1-5中的任一项所述的方法，还包括由所述视频处理服务器检测并移除在所述视频内容的所述帧子集的帧中的与所述背景表面相关的所有像素，以从而生成前景掩模图像的相应子集。

9.根据权利要求1-8中的任一项所述的方法，还包括由所述视频处理服务器接收所述内容插入区域作为输入，所述内容插入区域包括将用观看者特定内容替换的涉及在所述场景的所述背景表面上的真实世界地理位置的信息。