[发明专利]用于自由视点视频流式传输的以解码器为中心的UV编解码器

说明书

用于自由视点视频流式传输的以解码器为中心的编解码器使得能够实现对多层自由视点视频的捕获、预处理、编码、解码和渲染的更高效和更准确的处理。

对相关申请的交叉引用

本申请援引35U.S.C.119(e)要求于2016年11月28日提交的标题为“DECODER-CENTRIC UV CODEC FOR FREE-VIEWPOINT VIDEO STREAMING”的美国临时专利申请序列No.62/426,900的优先权，该申请通过引用整体并入本文，用于所有目的。

技术领域

本发明涉及三维图形。更具体而言，本发明涉及稀疏视图多视图三维图形。

背景技术

自由视点视频(FVV)是允许用户随时改变视频的视点的视频。例如，观看体育视频的用户可以从从本垒板后面的视角观看体育视频变为从外场的视角观看体育视频。这使用户/观看者能够从独特的视角查看内容。

发送FVV尤其在尝试流式传输视图相关的FVV时具有挑战，诸如在从编码器侧向解码器侧发送相机元数据时产生的瓶颈。

发明内容

用于自由视点视频流式传输的以解码器为中心的编解码器实现了对多层自由视点视频的捕获、预处理、编码、解码和渲染的更高效和更准确的处理。

在一个方面，一种方法包括预处理自由视点视频内容，使用编码器使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容，使用解码器将编码的自由视点视频内容解码为解码的自由视点视频内容并在设备上渲染解码的自由视点视频内容。预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。UV图谱(atlas)生成和纹理映射利用来自解码器的解码的形状。UV图谱生成生成具有附加元数据的多层纹理，以保留自由视点视频内容的视图相关特点。可以向解码器发信号通知视图无关信息(例如，单层UV图)与相对于视图相关信息(例如，具有附加元数据的多层UV图)的使用。作为元数据的示例，编码器可以发送相机配置(例如，捕获场景的多个相机的外在和内在参数)，并且对于每个纹理层可以发送促成特定UV层中那个具体纹理信息的相机的ID，使得解码器可以根据渲染的查看位置选择最佳的相机。用以解码器为中心的体系架构对自由视点视频内容进行编码包括用信号通知视图相关信息的使用，使用几何形状编码器编码顶点坐标以及使用UV纹理编码器编码纹理。解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。该方法还包括在解码器处生成相机标识信息，以用于将编码的自由视点视频内容解码为解码的自由视点视频内容。该方法还包括使用最多10个摄像机获取自由视点视频内容。该方法还包括使用在来自其它相机的每个轴上具有至少30度分离的摄像机来获取自由视点视频内容。

在另一方面，一种装置包括：用于存储应用的非瞬态存储器，该应用用于：预处理自由视点视频内容，使用编码器使用解码的几何形状将自由视点视频内容编码为编码的自由视点视频内容；以及处理器，耦合到存储器，该处理器被配置用于处理该应用。预处理自由视点视频内容包括网格生成、网格跟踪、UV图谱生成和纹理映射。UV图谱生成和纹理映射利用来自解码器的解码的形状。对自由视点视频内容进行编码包括使用几何形状编码器编码顶点坐标以及使用UV纹理编码器对纹理进行编码。

在另一方面，一种装置包括：用于存储应用的非瞬态存储器，该应用用于：通过在解码器处生成相机标识信息以用于将编码的自由视点视频内容解码为解码的自由视点视频内容，使用解码器将编码的自由视点视频内容解码为解码的自由视点视频内容并渲染解码的自由视点视频内容；以及处理器，耦合到存储器，该处理器被配置用于处理该应用。解码自由视点视频内容包括使用几何形状解码器和UV纹理解码器进行解码。渲染解码的自由视点视频内容利用解码的形状信息、解码的纹理信息和相机标识信息。