[发明专利]在数据流中编码及解码来自数据流的三维场景的方法和装置

说明书

提供用于编码和解码承载表示三维场景的数据的数据流的方法和设备，该数据流包括打包在色彩图像中的色彩画面；打包在深度图像中的深度画面；以及包括去投影数据的一组补片数据项；用于在色彩图像取回色彩画面的数据和几何数据。两种类型的几何数据是可能的。第一种类型的数据描述如何在深度图像中取回深度画面。第二种类型的数据包括3D网格的标识符。该网格的顶点坐标和各个面用于取回去投影的场景中各个点的位置。

技术领域

本原理一般涉及在数据流中编码以及解码来自数据流的三维场景或三维场景的序列的编码和解码。具体地，但不排他地，本原理的技术领域涉及对场景的纹理的色彩图像和深度图像或者场景的几何形状的3D网格的编码/解码。

背景技术

本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本原理的各个方面。因此，应该理解的是，要鉴于此地阅读这些陈述，而不作为对现有技术的承认。

沉浸式视频(也称为360°平面视频)允许用户通过围绕静止视点的头部旋转来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以用于首次全向视频体验(例如使用头戴式显示设备(HMD))，对于将期望更大自由度的观看者来说，例如通过体验视差，3DoF视频也可能很快变得令人沮丧。另外，3DoF也可能引起头晕，因为用户绝不是仅仅旋转其头部，而是还在三个方向上平移头部，平移在3DoF视频体验中不被再现。

体积式视频(也称为6自由度(6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转之外，用户还可以在观看的内容内平移其头部以及甚至身体，并体验视差以及甚至体积。这样的视频极大地增加沉浸的感觉和场景深度的感知，并且也通过在头部平移期间提供一致的视觉反馈而防止头晕。内容通过专用传感器创建，允许同时记录感兴趣场景的色彩和深度。结合摄影机技术使用的一套色彩相机是进行这种记录的一种常用方式。

体积式视频是3D场景的序列。编码体积式视频的一种解决方案是将3D场景的序列中的每个3D场景投影到被聚类为色彩画面和深度画面(称为补片)的投影图上。补片以存储在视频流的视频轨道中的色彩图像和深度图像打包。这种编码具有使用标准的图像和视频处理标准的优点。在解码时，色彩图像的像素以由存储在相关联的深度画面中的信息确定的深度被去投影。这样的解决方案是有效的。然而，将这种大量数据编码为视频流的视频轨道中的图像产生问题。比特流的大小引起有关存储空间，网络传输和解码性能的比特率技术问题。

发明内容

以下提出本原理的简要概述，以便提供对本原理的一些方面的基本理解。本概述不是对本原理的广泛综述。不意图标识本原理的关键或重要要素。以下概述仅以简化形式提出本原理的一些方面，作为下面提供的更详细描述的序言。

本原理涉及一种在流中编码3D场景的方法。本公开涉及一种在流中编码三维场景的方法。该方法包括：

-获得一组补片，补片包括：

·去投影数据；

·色彩图像；和

·第一种几何类型的几何数据包括深度画面；或第二种几何类型的几何数据包括被表示为网格的三维对象的标识符；

-通过打包所述补片的色彩画面并将色彩数据存储在对应的补片中来生成色彩图像，色彩数据包括打包在色彩图像中的所述补片的色彩画面的位置的描述；

-通过打包具有第一种几何类型的几何数据的补片的深度画面并通过深度图像中打包的所述补片的深度画面的位置的描述来替换对应补片的几何数据中的深度画面来生成深度图像；

-在流中编码：

·生成的色彩图像；

·生成的深度图像；