[发明专利]用于体积视频传输的方法和装置

说明书

提供了一种方法和设备，其用于在用体积视频内容的集合表示的3D场景中发送表示视点的信息；接收集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围，所述第一体积视频内容由第一补丁的集合表示，每个第一补丁对应于对与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，并且至少一个第一补丁参照第二补丁的区域，第二补丁对应于对与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。

技术领域

本文档涉及三维(3D)场景和体积视频内容的领域。还可以在对表示3D场景深度的数据进行编码和/或格式化的上下文中理解本文档，例如用于在诸如移动设备或头戴式显示器的终端用户设备上呈现(render)体积内容。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的各个方面有关。相信该讨论有助于向读者提供背景信息以促进对本说明书的更好理解。因此，应从这个角度来阅读这些陈述，而不是作为对现有技术的承认。

近来，可用的大视场内容(高达360°)不断增长。用户在诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能手机等沉浸式显示设备上观看内容时，可能无法完全看到此类内容。这意味着在给定的时刻，用户可能只观看到内容的一部分。然而，用户通常可以通过诸如头部移动、鼠标移动、触摸屏、语音等之类的各种方式在内容内导航。通常期望编码和解码该内容。

沉浸式视频(也称为360°平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3自由度(3Degrees of Freedom，3DoF)的体验。即使3DoF视频足以满足首次全向视频体验(例如使用头戴式显示设备(Head-Mounted Displaydevice，HMD))，对于期望更大自由度的观看者来说，3DoF视频也会很快变得令人沮丧(例如通过体验视差)。另外，3DoF也可能引起头晕，因为用户不仅旋转其头部，而且还在三个方向上平移头部，这些平移在3DoF视频体验中是无法再现的。

体积视频(也称为6自由度(6Degrees of Freedom，6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转之外，用户还可以在观看的内容内平移其头部甚至身体，并体验视差甚至体积。这样的视频通过在头部平移过程中提供一致的视觉反馈，大大增加了沉浸感和景深感，并防止了头晕。通过专用传感器创建内容，该专用传感器允许同时记录感兴趣场景的颜色和深度。一组彩色相机与摄影测量技术结合使用是执行此类记录的常用方法。

这种体积视频内容的数据量很重要，并且需要大的存储容量，并且需要高比特率来传输这种数据。

发明内容

说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用表示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定都包括特定特征、结构或特性。而且，这样的短语不一定指相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，可以认为无论是否有明确的描述，结合其他实施例来影响这种特征、结构或特性都在本领域技术人员的知识范围内。

根据一个实施例，一种方法包括：

-接收表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；

-发送所述集合的第一体积视频内容，所述第一体积视频内容是根据包括所述视点的视点范围，所述第一体积视频内容用第一补丁(patch)的集合表示，所述集合的每个第一补丁对应于对包括在与第一体积视频内容相关联的3D场景的3D部分中的第一组点的二维参数化，所述集合的至少一第一补丁参照至少一第二补丁的至少一区域，第二补丁对应于对包括在与所述体积视频内容的集合的第二体积视频内容相关联的3D场景的另一3D部分中的第二组点的二维参数化。

根据另一实施例，一种设备被配置为：

-接收表示3D场景中的视点的信息，所述3D场景用体积视频内容的集合表示；