[发明专利]用于沉浸式视频格式的方法、装置和流

说明书

根据对象的图像生成流的方法和设备，包括：获得与表示对象的至少一部分的点云的点相关联的数据；根据与对象的至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息，获得参数表面；获得与参数表面相关联的高度图和一个或多个纹理图；通过将与至少一个参数相关的第一语法元素、与高度图相关的第二语法元素、与至少一个纹理图相关的第三语法元素和与获取设备的位置相关的第四语法元素组合在一起而生成流。本公开还涉及用于根据由此获得的流渲染对象的图像的方法和设备。

技术领域

本公开涉及沉浸式视频内容的领域。本公开也在以下上下文中来进行理解：对表示沉浸式内容的数据的格式化，例如用于终端用户设备(例如，移动设备或头戴式显示器)上的渲染。

背景技术

本部分旨在向读者介绍可能与下文所描述的和/或所要求保护的本公开的各个方面相关的技术的各个方面。相信本讨论有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应当理解：这些陈述应按这种方式解读，而不是作为对现有技术的承认。

诸如头戴式显示器(HMD)或CAVE之类的显示系统允许用户浏览沉浸式视频内容。可以用CGI(计算机生成图像)技术获得沉浸式视频内容。通过使用这种沉浸式视频内容，可以根据用户观看内容的视点来计算内容，但是具有不切实际的图形质量。可以通过在诸如球体或立方体之类的表面上映射视频(例如，由若干相机获取的视频)来获得沉浸式视频内容。这种沉浸式视频内容提供了良好的图像质量，但出现了尤其是对于前景(即，靠近相机)场景的对象与视差有关的问题。

在沉浸式视频内容的上下文中，自由视点视频(FVV)是一种用于对多视点视频的表示和编码以及后续从任意视点重新渲染的技术。在沉浸式情境中增强用户体验的同时，要传送给渲染器的数据量非常重要并可能是一个问题。

发明内容

说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必包括该特定特征、结构或特性。此外，这种短语不必指代同一实施例。此外，当结合实施例来描述特定特征、结构或特性时，应认为结合其他实施例(不管是否是显式描述的)来实现这种特征、结构或特性是为本领域技术人员所知的。

本公开涉及一种根据场景的对象的至少一个图像生成流的方法，所述方法包括：

-获得与表示对象的至少一部分的点云的点相关联的数据；

-根据基于至少一个获取设备计算的光场以及作为所述至少一个获取设备与所述点云之间的最短距离的距离来获得表示参数表面的至少一个参数；

-根据所述数据获得与参数表面相关联的高度图，所述高度图包括表示所述对象的至少一部分与所述参数表面之间的距离的信息；

-根据所述数据获得与参数表面相关联的至少一个纹理图；

-通过将与至少一个参数相关的第一语法元素、与高度图相关的第二语法元素、与至少一个纹理图相关的第三语法元素和与获取设备的位置相关的第四语法元素组合在一起而生成流。

根据具体特性，至少一个参数根据对象的至少一部分的变形随时间变化。

根据具体特性，所述数据包括纹理信息和表示深度的信息。

本公开还涉及一种设备，该设备被配置为实现上述根据场景的对象的至少一个图像生成流的方法。

本公开还涉及携带表示场景的对象的数据的流，其中，数据包括：

-第一语法元素，与根据与对象的至少一部分相关联的至少一个几何特性和用于获取至少一个图像的获取设备的姿态信息而获得的表示参数表面的至少一个参数相关，所述至少一个几何特性是根据与点云的点相关联的表面获得的，所述点云的点与对象的至少一部分相关联；