[发明专利]用于编解码视频数据的方法及装置

说明书

本发明提供一种用于编解码视频数据的方法，装置和计算机可读介质。具有至少第一轨道和第二轨道的用于多媒体数据的分层轨道结构被编码，其中第二轨道在第一轨道之上。叠加合成元数据与第二轨道相关联，其中叠加合成元数据包括偏移元数据，层元数据，源元数据或其组合。叠加合成元数据指定用于与第一轨道相关联的媒体数据的叠加合成的至少一部分，其中叠加合成可以作为对与第一轨道相关联的媒体数据的轨道导出操作的一部分来执行，以生成第二轨道的媒体数据，使得第二轨道是第一轨道的导出轨道。本发明提供的用于编解码视频数据的方法及装置，可提高编解码效率。

技术领域

本发明涉及视频编码。具体而言，本发明涉及关联，存储和/或发信号通知叠加合成（overlay compositions），包括用于叠加合成物的叠加合成元数据。

背景技术

存在各种类型的视频内容，包括高分辨率视频，3D内容和多向内容。例如，高分辨率视频可以包括较大帧尺寸的视频，例如具有大约4,000像素（例如，4K视频），8,000像素（例如，8K视频）等的的水平显示分辨率的视频。视频帧可以划分为若干子图像或图块。视频可以包括叠加内容（overlay content），例如徽标和/或预览，并且子图片和/或叠加合成（overlay composition）可以在渲染设备中执行。作为另一示例，全向视频是使用一组相机捕获的一种视频，而不是像传统视频那样仅使用单个相机。例如，可以将摄像机放置在特定中心点周围，使得每个摄像机捕获场景的球面叠加上的一部分视频以捕获360度视频。来自多个相机的视频可以被缝合，旋转，并被投影以生成表示球形内容的投影的二维图像。例如，然后可以使用二维编码和压缩技术进一步处理。最终，使用期望的传送机制（例如，拇指驱动器（thumb drive），数字视频盘（DVD），文件下载，数字广播和/或在线流传输）来存储和传送已编码和已压缩的内容。这种视频可以用于虚拟现实（virtual reality, VR）和/或3D视频。

发明内容

根据所公开的主题，提供了一种用于关联，存储和/或发信号通知叠加合成的装置，系统和方法，包括叠加组合元数据。如本文进一步讨论的，可以对与媒体内容相关的叠加合成元数据（例如，轨道组，导出的轨道，定时元数据轨道，等）使用各种技术（例如，各种数据结构）并使用各种机制。

一些实施例涉及用于解码视频数据的解码方法。该方法包括接收包括分层轨道结构的多媒体数据，该分层轨道结构包括至少第一轨道和第二轨道，其中第一轨道在分层轨道结构中处于第一层，并且第二轨道处于分层轨道中的第二级别结构在第一轨道的第一层之上。该方法包括确定与第二轨道相关联的叠加合成元数据，其中叠加合成元元数据包括偏移元数据，层元数据，源元数据或其组合。该方法包括对与第一轨道相关联的媒体数据执行轨道导出操作，包括基于叠加组合元数据执行与第一轨道相关联的媒体数据的叠加合成，以生成第二轨道的媒体数据，使得第二轨道是第一轨道的派生轨道。

在一些示例中，叠加合成元数据包括偏移元数据，并且与第一轨道相关联的媒体数据包括用于合成的一个或多个输入轨道，并且该方法还包括基于偏移元数据确定是否对于一个或多个输入轨道中的每一个指定一个偏移。在一些示例中，解码方法还包括基于偏移元数据确定为一个或多个输入中的每一个指定一个偏移，并且执行媒体数据的叠加合成包括基于一个或多个输入轨道的偏移执行叠加合成。

在一些示例中，叠加合成元数据包括层元数据，并且与第一轨道相关联的媒体数据包括用于组合的一个或多个输入轨道，并且该方法还包括基于层元数据确定是否为一个或多个输入中的每一个指定一个层。该方法可以进一步包括基于层元数据，确定是否为一个或多个输入中的每一个指定一个层，并且执行媒体数据的叠加合成包括基于一个或多个输入轨道中的每一个来执行叠加合成。

在一些示例中，与第一轨道相关联的媒体数据包括用于合成的一个或多个输入轨道，并且叠加合成元数据包括源元数据，源元数据包括指定一个或多个输入轨道的数量的源计数，以及指定三维内容的深度的源深度;并且执行媒体数据的叠加合成包括基于一个或多个输入轨道中的每一个的源深度来执行叠加合成。