[发明专利]渲染三维内容的方法和装置

说明书

提供了用于编码，解码和渲染3D媒体内容的方法和装置。用于渲染三维(3D)媒体内容的装置包括：通信接口，被配置为接收多媒体流；以及一个或多个处理器，可操作地耦合到该通信接口，一个或多个处理器被配置为将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6DoF场景中对象之间的6个自由度(6DoF)关系的场景描述元数据；解码包括几何数据和纹理数据的二维视频流，以生成二维像素数据；使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及使用场景描述元数据从3D体素数据生成6DoF场景。

技术领域

本公开总体上涉及用于渲染三维(3D)内容的方法和装置。更具体地，本公开涉及用于编码，解码或渲染沉浸式(immersive)3D媒体的方法和装置。

背景技术

由于功能强大的手持设备(诸如智能手机)的即时可用性，三百六十度(360°)视频正成为体验沉浸式视频的新方式。360°视频通过捕捉世界的360°全景，为消费者提供沉浸式“真实生活”、“身临其境”的体验。用户可以交互地改变其视点，并且根据他们的需要动态查看所捕获的场景或对象的任何部分。显示和导航传感器实时跟踪头部运动，以确定用户要观看的360°视频的区域。360°视频可提供三个自由度(3DoF)沉浸式体验。(6DoF)是沉浸式体验的下一个阶段，其中用户可以在虚拟/增强环境中转头并四处走动。为了提供6DoF体验，需要本质上是3维的多媒体数据，诸如点云。

点云和网格是三维(3D)点的集合，表示对象或场景的表面的模型。点云在各种应用中都很常见，诸如游戏、3D地图、可视化、医疗应用、增强现实(AR)、虚拟现实(VR)、自动驾驶、多视图重播、6DoF沉浸式媒体等。如果不压缩，点云通常需要大量传输带宽。因此，比特率要求较高，因此在传输点云之前需要进行压缩。点云的压缩硬件和处理不同于传统的二维(2D)多媒体的压缩硬件和处理。

发明内容

技术问题

本公开提供了用于编码、解码和渲染3D媒体内容的方法和装置。

技术方案

在一个实施例中，用于渲染三维(3D)媒体内容的装置包括：通信接口，被配置为接收多媒体流；以及一个或多个处理器，可操作地耦合到通信接口，一个或多个处理器被配置为：将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6DoF场景中对象之间的6个自由度(6DoF)关系的场景描述元数据；解码包括几何数据和纹理数据的2D视频流，以生成2D像素数据；使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及使用场景描述元数据从3D体素数据生成6DoF场景。

在另一实施例中，一种渲染三维(3D)媒体内容的方法，包括：接收多媒体流；将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6DoF场景中对象之间的6个自由度(6DoF)关系的场景描述元数据；解码包括几何帧和纹理帧的2D视频流，以生成2D像素数据；使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及使用场景描述元数据从3D体素数据生成6DoF场景。

在另一实施例中，用于对三维(3D)媒体内容进行编码的装置包括：一个或多个处理器，被配置为：获得6个自由度(DoF)场景；通过简化6DoF场景来生成一个或多个比特流。所述一个或多个比特流包括2D视频比特流，所述2D视频比特流包括6DoF场景每个点的几何和纹理，用于从2D像素渲染3D体素的2D到3D转换元数据、以及描述6DoF场景中对象之间的6DoF关系的场景描述元数据；以及通信接口，可操作地耦合到一个或多个处理器，其中，所述通信接口被配置为将一个或多个比特流发送到客户端设备。