[发明专利]根据视频进行的图像生成

说明书

一种装置包括：存储部(101)，其用于存储N维空间中的路线集合，其中，所述路线集合中的每条路线与包括帧的视频项相关联，所述帧包括图像信息和深度信息两者；输入部(105)，其接收观看者位置指示；选择器(107)，其响应于取决于距离度量的选择标准而选择所述路线集合中的第一路线，所述距离度量取决于所述观看者位置指示和所述路线集合中的所述路线的位置；检索器(103、109)，其从视频源(203)中检索与所述第一路线相关联的第一视频项；图像生成器(111)，其根据来自所述第一视频项的第一帧集合来生成针对所述观看者位置指示的至少一幅视图图像。在系统中，相对于所述路线集合中的其他路线，所述选择标准偏向于当前选择的路线。

技术领域

本发明涉及根据视频项进行的图像生成，并且特别涉及但非排他性地涉及根据存储的可以源自真实世界环境的视频捕获的视频项进行的针对虚拟现实环境的视图图像生成。

背景技术

近年来，随着利用和消费视频的新的服务和方式的不断开发和推出，图像和视频应用的种类和范围已经大幅增加。

例如，一种日益流行的服务是以使得观看者能够与系统主动且动态地交互以改变绘制的参数的方式来提供图像序列。在许多应用中极具吸引力的特征是改变观看者的有效观看位置和观看方向的能力，例如，允许观看者在正被呈现的场景中移动和“环视”。

这种特征能够特别允许给用户提供虚拟现实体验。这可以允许用户在虚拟环境中(相对)自由地四处移动且动态地改变其位置和其正在观看的地方。通常，这种虚拟现实应用基于场景的三维模型，其中，该模型被动态地评价以提供特定请求的视图。对于计算机和控制台而言，该方法在例如游戏应用中(例如在第一人称射击游戏类别中)是熟知的。

特别是对于虚拟现实应用而言，也期望所呈现的图像是三维图像。实际上，为了优化观看者的身临其境的感觉，通常优选使用户体验的呈现场景为三维场景。实际上，虚拟现实体验应当优选允许用户选择他/她自身的位置、相机视点和相对于虚拟世界的时刻。

通常，虚拟现实应用会固有地受到限制，这是因为虚拟现实应用基于预定的场景模型并且通常基于人造的虚拟世界模型。非常期望虚拟现实体验可以基于真实世界捕获来提供。然而，在许多情况下，这种方法极受限制或者趋向于要求根据真实世界捕获而构建的真实世界的虚拟模型。然后通过评价该模型来生成虚拟现实体验。

然而，当前方法趋向于次优的用户体验，并且通常趋向于具有高计算要求或高通信资源要求和/或提供具有例如降低质量或有限自由度的次优的用户体验。

作为应用的示例，虚拟现实眼镜当前正在进入市场。这些眼镜允许观看者体验所捕获的360度(全景)视频。这些360度视频通常是使用相机装备预先捕获的，其中，个体图像被拼接在一起而成为单个球形映射。360度视频的常见立体格式是上/下和左/右。类似于非全景立体视频，左眼图片和右眼图片被压缩为单个H.264视频流的部分。在解码单个帧之后，观看者旋转他/她的头部来观看他/她周围的世界。当前示例是由谷歌制作的对卡内基音乐厅中的音乐会的记录[https://performingarts.withgoogle.tabhumblecom/en_us/performances/carnegie-hall]。在该示例中，观看者能够体验360度环视效应，并且能够以离散方式在从不同位置记录的三个视频流之间进行切换。在切换时，加载另一视频流，这样会中断体验。

立体全景视频方法的一个缺点是观看者无法改变在虚拟世界中的位置。除了全景立体视频以外，全景深度图的编码和传输可以允许补偿观看者在客户端侧的小幅平移运动，但是这种补偿将固有地限于小幅变化和移动并且将无法提供身临其境且自由的虚拟现实体验。

相关技术是其中具有深度图的多个视点在单个视频流中进行编码和传输的自由视点视频。除了众所周知的时间预测方案以外，也可以通过利用视点之间的角度依赖性来减小视频流的比特率。然而，该方法仍然要求高比特率并且在能够生成的图像方面是受限制的。该方法实际上无法提供在三维虚拟现实世界中完全自由移动的体验。