[发明专利]生成用于在VR中显示的复合视频流

权利要求书

1.一种用于生成用于由客户端设备显示的复合视频流的方法，该方法包括另一客户端或服务器执行如下步骤：

-获得对背景视频的空间分段编码，所述分段编码包括可独立解码的背景片段；

-接收至少一个前景视频流，该至少一个前景视频流的至少一部分要显示在该背景视频的前面；

-确定该前景视频流相对于该背景视频的放置位置；

-识别当该前景视频流被显示在该放置位置处时，被该前景视频流部分地或全部遮挡的背景片段子集；

-通过针对该复合视频流的相应输出帧以及该背景视频和该前景视频流的各个输入帧执行以下操作来为该客户端设备生成该复合视频流：

-选择性地解码该背景片段子集，从而获得解码后的背景图像数据，

-将该前景视频流的图像数据复合到该解码后的背景图像数据中，从而获得复合图像数据，以及

-对该复合图像数据进行编码以获得可独立解码的复合片段集，该复合片段集与不在该背景片段子集中的背景片段一起表示对该复合视频流的输出帧的空间分段编码；以及

-将该复合视频流或该复合视频流中的在该客户端设备的用户的视场内的空间片段流式传输到该客户端设备。

2.根据权利要求1所述的方法，其中，该客户端设备被配置为在VR环境中显示该复合视频流，并从用户的观看位置渲染该VR环境，其中，该方法进一步包括：

-确定该用户的观看位置；以及

-进一步基于该观看位置，识别被该前景视频流部分地或全部遮挡的该背景片段子集。

3.根据权利要求2所述的方法，其中，确定该用户的观看位置包括从该客户端设备接收指示该观看位置的数据。

4.根据权利要求1或2所述的方法，进一步包括：

-获得与对该背景视频的空间分段编码相关联的放置元数据，其中，该放置元数据定义该前景视频流相对于该背景视频的放置位置。

5.根据以上权利要求1-2中任一项所述的方法，其中，对该背景视频的空间分段编码作为比特流获得，并且其中，该方法进一步包括：

-用该比特流中的复合片段集替换该背景片段子集，以获得对该复合视频流的输出帧的空间分段编码。

6.根据以上权利要求1-2中任一项所述的方法，其中，对该背景视频的空间分段编码包含该背景视频的映射投影，并且其中，该方法进一步包括：

-基于该映射投影将该前景视频流的图像数据复合到该解码后的背景图像数据中。

7.根据权利要求6所述的方法，其中，所述映射投影包括等距柱状投影。

8.根据权利要求6所述的方法，其中，将该前景视频流的图像数据复合到该解码后的背景图像数据中包括：在将所述图像数据复合到该解码后的背景图像数据中之前或之时，将该映射投影应用于该前景视频流的图像数据。

9.根据以上权利要求1-2中任一项所述的方法，其中，该客户端设备被配置为在VR环境中显示该复合视频流，并在可由该用户确定的视场中渲染该VR环境，其中，该方法进一步包括：

-确定该用户在该VR环境中的视场；以及

-基于该视场将该前景视频流的图像数据复合到该解码后的背景图像数据中。

10.根据权利要求9所述的方法，其中，基于该视场将该前景视频流的图像数据复合到该解码后的背景图像数据中包括以下操作中的至少一项操作：

-仅当该前景视频流的图像数据在该用户的视场中时，才复合所述图像数据；以及

-如果该前景视频流的图像数据在该用户的视场之外，则以降低的图像质量复合所述图像数据。

11.根据以上权利要求1-2中任一项所述的方法，其中，对该背景视频的空间分段编码和对该复合视频流的空间分段编码中的至少一者由基于图块的媒体流表示。