[发明专利]编码和解码体积视频的方法、设备和流

说明书

点云序列被编码器编码为视频，并传输到解码器，解码器提取点云序列。根据至少两个投影中心，将点云的可见点迭代投影到投影图上，以确定块数据项列表。选择投影中心中的一个，并生成对应的图像块并将其打包为图片。将图片和相关联的块数据项列表被编码在流中。解码方法对图片和相关联的块数据项列表进行解码。根据相关联的块中存储的数据，对包括在图片中的图像块的像素将进行逆投影。该方法具有以避免伪影的方式对点云的每个点进行编码并允许以视频帧速率进行解码的优点。

技术领域

本公开涉及体积(volumetric)视频内容的领域。本公开还可以在表示体积视频内容的数据的格式的上下文中理解，例如用于在诸如移动设备或头戴式显示器的终端用户设备上进行沉浸式渲染。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本公开的各个方面相关。该讨论被认为有助于向读者提供背景信息，以有助于更好地理解本发明的各个方面。因此，应该理解，应从这些角度来解读这些陈述，而不是作为对现有技术的承认。

沉浸式视频，也称为360°平面视频，允许用户可以通过围绕静止视点的头部旋转来环顾四周。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以提供第一全向视频体验，例如使用头戴式显示器设备(HMD)，对于希望例如通过体验视差获得更大自由度的观看者，3DoF视频也可能很快变得令人沮丧。另外，由于用户不仅只旋转其头部，而且还沿在3DoF视频体验中无法再现的三个方向平移上平移头部，因此3DoF也可能引起眩晕。

体积视频(也称为6自由度(6DoF)视频)是3DoF视频的替代方案。观看6DoF视频时，除了旋转之外，用户还可以在观看的内容内平移头部并体验视差。这样的视频极大地增加了沉浸感和景深感知，还通过在头部平移期间提供一致的视觉反馈来防止眩晕。相关内容基本上是通过专用传感器创建的，该传感器允许同时记录感兴趣场景的颜色和深度。彩色摄像头装备与摄影测量技术结合使用是进行此录制的一种常用方法。

虽然3DoF视频包含从纹理图像的解映射(un-mapping)中得出的图像序列(例如根据纬度/经度投影或等角投影进行编码的球形图像)，但6DoF视频帧嵌入了来自多个视点的信息。可以将它们视为三维采集得到的点云的时间序列。取决于观看条件，可以考虑两种体积视频。第一个(即完整的6DoF)允许在视频内容内部的完全自由导航，而第二个(也称为3DoF+)将用户的观看空间限制为有限的体积，允许受限的头部平移和视差体验。第二种情形是就座观众成员的自由导航和被动观看条件之间的自然折衷。

利用压缩和传输标准，以符合标准视频管道(例如MPEG)的方式，在帧序列(即视频内容)中对点云进行编码，并允许以视频帧速率(即至少每秒24个图像/点云)是一个挑战。本原理提出解决这些编码和解码技术问题的方法、设备和流。

发明内容

说明书中对“一个实施例”，“实施例”，“示例实施例”，“特定实施例”的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定都包括特定特征、结构或特性。而且，这样的短语不一定指相同的实施例。此外，当结合实施例描述特定的特征，结构或特性时，认为结合其他实施例影响该特征、结构或特性是在本领域技术人员的知识范围内，无论其他实施例是否明确描述。

本公开涉及一种将点云编码为流的方法。该方法包括：

-为点云确定块数据项的第一列表，块数据项包括：

·标识投影中心的信息；

·空间范围的描述，根据投影中心、角度范围和深度范围定义该范围；以及，

·标识图片内区域的信息；

-生成包括图像块集合的图片，每个图像块通过根据投影中心将第一列表的块数据项的空间范围中包括的点云的点投影到图片上获得；以及

-将图片和块数据项的第一列表编码在流中。