[发明专利]渲染三维内容的方法和装置

权利要求书

1.一种用于渲染三维(3D)媒体内容的装置，所述装置包括：

通信接口，被配置为接收多媒体流；以及

一个或多个处理器，可操作地耦合到通信接口，一个或多个处理器被配置为：

将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6个自由度(6DoF)场景中对象之间的6DoF关系的场景描述元数据；

解码包括几何数据和纹理数据的2D视频流，以生成2D像素数据；

使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及

使用场景描述元数据从3D体素数据生成6DoF场景。

2.根据权利要求1所述的装置，其中，2D到3D视频转换元数据位于文件级别或2D视频比特流内部作为补充增强信息(SEI)消息。

3.根据权利要求1所述的装置，其中，一个或多个处理器还被配置为获得关于用户在3D空间中的位置或姿势的用户交互信息。

4.根据权利要求3所述的装置，其中，一个或多个处理器还被配置为基于用户交互信息来选择要渲染的6DoF的部分。

5.根据权利要求4所述的装置，其中，用户交互信息指示用户的位置、姿势、方向或视点中的至少一个。

6.根据权利要求4所述的装置，其中，一个或多个处理器还被配置为将多媒体流解析为渲染描述元数据，所述渲染描述元数据包括与渲染处理的配置有关的静态和动态描述。

7.根据权利要求1所述的装置，其中，通信接口还被配置为将2D视频比特流的部分发送到远程渲染器以进行部分渲染处理。

8.一种渲染三维(3D)媒体内容的方法，包括：

接收多媒体流；

将多媒体流解析为包括几何帧和纹理帧的2D视频比特流、用于从2D帧渲染3D点的2D到3D转换元数据、以及描述6个自由度(6DoF)场景中对象之间的6DoF关系的场景描述元数据；

解码包括几何帧和纹理帧的2D视频流，以生成2D像素数据；

使用2D到3D转换元数据将2D像素数据转换为3D体素数据；以及

使用场景描述元数据从3D体素数据生成6DoF场景。

9.根据权利要求8所述的方法，其中，2D到3D视频转换元数据位于文件级别或2D视频比特流内部作为补充增强信息(SEI)消息。

10.根据权利要求8所述的方法，还包括：获得关于用户在3D空间中的位置或姿势的用户交互信息。

11.根据权利要求4所述的方法，其中，用户交互信息指示用户的位置、姿势、方向或视点中的至少一个。

12.根据权利要求10所述的方法，还包括：

基于用户交互信息来选择要呈现的6DoF的部分。

13.根据权利要求8所述的方法，还包括：

将多媒体流解析为渲染描述元数据，所述渲染描述元数据包括与渲染处理的配置有关的静态和动态描述。

14.根据权利要求8所述的方法，还包括：将2D视频比特流的部分发送到远程渲染器以进行部分渲染。

15.一种用于对三维(3D)内容进行编码的装置，包括：

一个或多个处理器，被配置为：

获得6个自由度(DoF)场景的数据；

通过简化6DoF场景的数据来生成一个或多个比特流，以包括包含6DoF场景的每个点的几何和纹理的2D视频比特流、用于从2D像素渲染3D体素的2D到3D转换元数据、以及描述6DoF场景中对象之间的6DoF关系的场景描述元数据；以及

通信接口，可操作地耦合到一个或多个处理器，所述通信接口被配置为将一个或多个比特流发送到客户端设备。