[发明专利]生成用于在VR中显示的复合视频流

说明书

可以提供一种用于生成可以将背景视频和前景视频流组合为一个流的复合视频流的处理器系统和计算机实施的方法。为此，可以获得例如图块流形式的对背景视频的空间分段编码。该前景视频流可以例如从(另一)客户端设备接收。例如当在实时通信中使用时，该前景视频流可以是实时流。可以通过以下方式将该前景视频流的图像数据插入到该背景视频中：对该背景视频的所选片段进行解码，将该前景图像数据插入到这些片段的解码后的背景图像数据中，并且对所得的复合图像数据进行编码以获得与该背景视频的未处理片段一起形成对复合视频的空间分段编码的复合片段。

技术领域

本发明涉及一种用于生成用于由客户端设备例如在VR环境中显示的复合视频流的方法和处理器系统。本发明进一步涉及一种包括用于执行该方法的指令的计算机程序。本发明进一步涉及一种计算机可读介质，所述计算机可读介质包括用于生成复合视频流的放置元数据。本发明进一步涉及一种表示用于在VR环境中渲染复合视频流的客户端设备的处理器系统。

背景技术

虚拟现实(VR)涉及使用计算机技术来模拟用户在虚拟环境中的物理存在。通常，VR渲染设备利用头戴式显示器(HMD)向用户渲染虚拟环境，尽管还可以使用其他类型的VR显示器和渲染技术，包括但不限于全息术和洞穴状自动虚拟环境。

VR可以用于渲染由三维(3D)图形表示(例如，被定义为一组顶点、边、面等)的场景。

然而，在许多情况下，可能期望在VR中渲染场景的基于视频的表示。例如，视频可以是现实生活场景的视频记录，或者是通过虚拟场景的计算机生成图像(CGI)获得的视频等。在一些情况下，视频可以表示全向视频，该全向视频可以提供场景的大视场，例如，允许用户在场景内“环顾四周”。对场景的这种基于视频的表示的渲染可以涉及将视频的图像数据投影到虚拟主体(比如球体)上，并然后从该虚拟主体内的或面向该虚拟主体的视点进行渲染。

例如，在VR中的多用户通信会话中，热带岛屿的全向视频可以用作该多用户通信会话的“虚拟背景”，方法是将该视频投影到球体内部并将表示该多用户通信会话的用户的化身放置在该球体内部，从而为每个用户提供岛屿上其他参与者的视图。另一示例是‘VR社交’会话，其中，将电影院播放电影的全向视频用作“虚拟布景”，并且其中，将用户表示为电影院中的可以一起观看电影的化身。

在上面的示例中，场景的基于视频的表示可以表示比如前述化身等“前景”对象的背景，其中，从VR环境中用户的视点来看，该前景对象被视为放置在背景之前。在某些场景中，前景对象可以示出视频流。这种视频流的示例在被显示时可以提供另一用户的基于视频的实时表示，例如，如[1]所描述的所谓的视频化身。这种视频流可以示出在背景(例如，如[2]所述，虽然是基于图像的背景而不是基于视频的背景)的前面。因此，放置在背景视频之前的先前描述的化身可以是视频化身。

这种场景的缺点是客户端设备可以接收多个流，即，表示背景视频的视频流和表示例如要在VR环境中在背景视频前面显示的另一用户的实时记录的前景视频流。

即，对于客户端设备而言，同时接收和解码多个视频流可能是挑战性的。例如，低端VR设备(比如低端智能电话)可能仅具有仅允许对一个视频流进行硬件解码的一个硬件解码器。其他流可能是软件解码的，这通常在计算上(远远)更复杂。在VR环境中要在背景视频前面显示几个前景视频流(例如在电话会议中，对于其他参与者中的每一个都显示一个前景视频流)的情况下，此问题可能会加剧。

相关的问题可能是在使用“视频化身”的VR中的多用户通信会话中可能需要交换相对较多的流。即，对于N用户的多用户通信会话，每个客户端设备可以接收N个传入流(即表示背景视频的一个流(通常可以由中央服务器提供)和其他用户的N-1个流)，同时还必须将相应用户的记录作为N-1个传出流而流式传输到其他客户端设备中的每一个。这可能表示对客户端设备的负担，例如，因为必须提供并分配足够的带宽，并且必须与其他客户端设备中每一个维持网络会话。