[发明专利]用于递送体积视频内容的方法和装置

说明书

提供了用于用信号通知和解码代表体积视频中导航的限制的信息的方法、设备和数据流。数据流包括与代表体积视频的视频数据相关联的元数据。元数据包括代表观看边界框的数据、代表所述体积视频的3D空间中的曲线路径的数据；以及代表与曲线路径上的点相关联的至少一个观看方向范围的数据。

技术领域

本原理一般而言涉及三维(3D)场景和立体视频内容的领域。本文档还可以在代表3D场景的纹理和几何形状的数据的编码、格式化和解码的上下文中理解，用于在最终用户设备(诸如移动设备或头戴式显示器(HMD))上渲染立体内容。特别地，本原理涉及用信号通知和解码代表体积视频中导航的限制的信息。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可以与以下描述和/或要求保护的本原理的各个方面相关。相信该讨论有助于向读者提供背景信息，以促进更好地理解本原理的各个方面。因而，应当理解的是，应从这种角度来阅读这些陈述，而不是作为对现有技术的承认。

最近，可用的大视场内容(高达360°)有所增长。用户在诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等沉浸式显示设备上观看内容时，可能无法完全看到此类内容。这意味着在给定时刻，用户可能只能观看内容的一部分。但是，用户通常可以通过各种手段在内容内导航，诸如头部移动、鼠标移动、触摸屏、语音等。通常期望编码和解码这种内容。

沉浸式视频，也称为360°平面视频，允许用户通过其头部围绕静止视点的旋转来观看其自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以满足第一全向视频体验，例如使用头戴式显示设备(HMD)，但对于预期获得更多自由度的观看者来说，3DoF视频可能很快变得令人沮丧，例如由于体验视差。此外，3DoF还会诱发头晕，因为用户从来不会仅旋转头部，而是还会在三个方向上平移头部，而这种平移在3DoF视频体验中是无法再现的。

除其它以外，大视场内容尤其可以是三维计算机图形影像场景(3D CGI场景)、点云或沉浸式视频等。许多术语可以被用于设计此类沉浸式视频：例如，虚拟现实(VR)、360、全景、4π立体、沉浸式、全向或大视场。

体积视频(也称为6自由度(6DoF)视频)是3DoF视频的替代方案。在观看6DoF视频时，除了旋转之外，用户还可以在观看的内容中平移其头部以及甚至其身体，并体验视差甚至体积。此类视频通过在头部平移期间提供一致的视觉反馈而大大增加了沉浸感和对场景深度的感知，并防止头晕。内容是借助于专用传感器创建的，从而允许同时记录感兴趣场景的颜色和深度。使用与摄影测量技术相结合的彩色相机的装配装备(rig)是执行这种记录的一种方式，即使仍然存在技术困难。

虽然3DoF视频包括由纹理图像(例如，根据纬度/经度投影映射或等距柱状投影映射编码的球形图像)的未映射产生的图像序列，但6DoF视频帧嵌入了来自几个视点的信息。它们可以被视为由三维捕获产生的点云的时间系列。根据观看条件，可以考虑两种体积视频。第一种(即，完整的6DoF)允许在视频内容中完全自由导航，而第二种(又称3DoF+)将用户观看空间限制到称为观看边界框的有限体积内，从而允许有限的头部平移和视差体验。这第二个上下文是自由导航和就座观众的被动观看条件之间的宝贵权衡。在3DoF+和6DoF体验之间，有可能将4DoF+情况定义为3DoF+和6DoF之间的中间情况，其中用户的位移被限制到沿着3D场景内的曲线(1D)路径，每个路径样本周围具有受限的水平、垂直和深度平移。用户可以在保证良好视觉质量的情况下沿着路径在一种隧道(tunnel)内移动。如果用户将他的虚拟相机移到隧道外，那么对于重构良好质量的3D场景，数据将可能丢失。

在给定体积视频内容的导航期间，用户的虚拟相机的允许位置的范围和观看朝向可能必然受到限制。否则，当请求由于缺乏可用的视觉数据而无法被完全渲染的视口时，用户可以“离开”3D场景。因此，需要一种解决方案，用于在消费给定的体积视频内容时向最终用户设备通知合适的、优选的和/或允许的观看者(虚拟)位置和观看朝向。

发明内容