[发明专利]用于生成并且绘制视频流的装置和方法

说明书

一种装置包括处理器(301)，所述处理器提供针对场景的多个参考视点的多个参考视频流。接收器(305)接收来自远程客户端的视点请求，其中，所述视点请求指示请求视点。生成器(303)生成输出视频流，所述输出视频流包括具有来自第一参考视频流的帧的第一视频流和具有来自第二参考视频流的帧的第二视频流。所述第二视频流的帧相对于所述第一视频流的帧被差分编码。控制器(307)响应于视点请求而选择针对第一和第二视频流的参考视频流，并且可以被布置为当所述视点请求满足准则时在被非差分编码与被差分编码之间调换参考视频流。

技术领域

本发明涉及生成并且绘制视频流，并且特别地但非专有地，生成并且绘制用于虚拟现实应用的视频流。

背景技术

各种各样和一系列的图像和视频应用近年来已经基本上随着利用和消耗视频的新服务和方式被连续开发和引入而增加。

例如，日益流行的一个服务是以这样的方式提供图像序列：观察者能够主动地并且动态地与系统交互以改变绘制的参数。许多应用中的非常吸引人的特征是改变观察者的有效查看位置和查看方向的能力，诸如例如允许观察者在呈现的场景中移动和“环视”。

这样的特征可以特别地允许虚拟现实体验被提供给用户。这可以允许用户在虚拟环境中(相对)自由地到处移动并且动态地改变他的位置和他正在看何处。通常，这样的虚拟现实应用基于场景的三维模型，其中，模型动态地评价以提供特定请求视图。该方法从例如用于计算机和控制台的游戏应用(诸如在第一人称射击的类别中)中公知。

还期望的是，特别地针对虚拟现实应用，呈现的图像是三维图像。实际上，为了优化观察者的沉浸，用户将呈现的场景体验为三维场景通常是优选的。实际上，虚拟现实体验应当优选地允许用户选择他/她自己的位置、相机视点、以及相对于虚拟世界的时刻。

通常，虚拟现实应用是固有地受限的，其中，其基于场景的预定模型并且通常基于虚拟世界的人工模型。将期望的是，虚拟现实体验是否可以基于现实世界捕获来提供。然而，在许多情况下，这样的方法非常有限或者倾向于要求现实世界的虚拟模型根据现实世界捕获来建立。虚拟现实体验然后通过评价该模型来生成。

然而，当前方法倾向于是次优的并且倾向于常常具有高计算或通信资源要求和/或提供具有例如减少质量或有限自由的次优用户体验。

作为应用的范例，虚拟现实眼镜已经进入市场。这些眼镜允许观察者体验捕获的360度(全景)或180度视频。这些360度视频常常使用相机绑定预捕获，其中，个体图像一起拼接为单个球面映射。针对180或360视频的常见立体格式是顶/底和左/右。类似于非全景立体视频，左眼和右眼图片被压缩为单个H.264视频流的一部分。在解码单个帧之后，观察者旋转他/她的头部以查看他/她周围的世界。范例是记录，其中，观察者可以体验360度环视效果并且可以分立地在从不同位置记录的视频流之间切换。当切换时，另一视频流被加载，这中断体验。

立体全景视频方法的一个缺点在于，观察者不能改变虚拟世界中的位置。除全景立体视频之外，全景深度图的编码和传输可以允许客户端侧的观察者的小平移运动的补偿，但是这样的补偿将固有地限于小变化和移动并且将不能够提供沉浸和自由的虚拟现实体验。

相关技术是在其中关于深度图的多个视点在单个视频流中被编码并且传输的自由视点视频。然而，这样的方法要求高比特率并且可以在可以生成的图像方面是限制性的。