[发明专利]用于针对全向内容而标记在覆盖物上的用户交互并将对背景的覆盖物分组的方法和装置

说明书

一种方法、装置和计算机程序产品将对背景媒体内容的覆盖物(例如语义相关覆盖物)分组。在方法的上下文中，定义对背景媒体内容的一组覆盖物。覆盖物包括语义相关覆盖物或提供不同内容选择的覆盖物，语义相关覆盖物具有表示具有不同细节水平的内容的可替代覆盖物。该方法还包括接收客户端从该组覆盖物中对相应覆盖物的选择。响应于客户端从该组覆盖物中选择相应覆盖物，该方法使相应覆盖物被提供。

本申请要求于2018年6月1日提交的题为“A METHOD AND APPARATUS FORSEPARATELY SIGNALING USER INTERACTIONS ON OVERLAY FOR MONIDIRECTIONAL CONTENT(用于分别标记在用于全向内容的覆盖物上的用户交互的方法和装置)”的美国临时申请No.62/679,240和于2018年7月6日提交的题为“METHOD AND APPARATUS FOR GROUPINGOVERLAYS TO BACKGROUND MEDIA CONTENT(用于将对背景媒体内容的覆盖物分组的方法和装置)”的美国临时申请No.62/694,459的优先权，其全部内容通过引用被并入本文。

技术领域

示例实施例通常涉及对媒体内容进行编码，特别是在流传输虚拟现实和其他视听内容的上下文中。

背景技术

虚拟现实视听内容(例如360°视频和其他类似内容)在喜欢或以其他方式享受从这些内容中可得的沉浸式观看体验的观看者和内容创建者中变得越来越流行。虚拟现实内容的流行程度的增加已推动了观看者对流传输提供高质量观看体验的虚拟现实内容的需求。

沉浸式多媒体的消费(例如用于虚拟现实和其他应用的全向内容消费)对于客户端而言比二维内容的消费更为复杂。这种增加的复杂性可归因于在消费沉浸式多媒体时对客户端可用的较高自由度。尽管增强了用户体验，但较高自由度导致不确定性增加。在例如结合对背景媒体内容的一个或多个覆盖物的渲染来渲染内容层的实例中，这种增加的复杂性进一步复杂化。

全向媒体应用格式(OMAF)版本1(v1)标准定义了具有三个自由度的全向内容流传输。期望后续的标准化不仅能够实现具有三个自由度的全向内容流传输，而且还支持覆盖物和用户与覆盖物的交互。

发明内容

根据示例实施例，提供了一种方法、装置和计算机程序产品，以便渲染与背景内容相关联的视觉覆盖物。

在示例实施例中，提供了一种方法，该方法包括接收定义对背景媒体内容的一组覆盖物的元数据。覆盖物包括语义相关覆盖物或提供不同内容选择的覆盖物，语义相关覆盖物包括表示具有不同细节水平的内容的可替代覆盖物。该方法还包括使得从该组覆盖物中对相应覆盖物的选择被提供。该方法还包括接收相应覆盖物以用于与背景媒体内容同时呈现。

示例实施例的元数据包括关于该组语义相关覆盖物中的可替代覆盖物所需的带宽的信息。附加地或可替代地，元数据包括关于该组语义相关覆盖物中的可替代覆盖物的分辨率的信息。示例实施例的元数据附加地或可替代地包括可替代覆盖物的序列信息。示例实施例的元数据附加地或可替代地包括可替代覆盖物的序列信息。

示例实施例的方法还可以包括接收背景媒体内容。示例实施例的背景媒体内容包括全向媒体内容。该示例实施例的方法还包括使全向媒体内容和相应覆盖物被同时呈现。

示例实施例的方法还可以包括接收与视觉覆盖物相关联的用户交互。该示例实施例的方法还包括在标志指示用户交互类型被允许的实例中，基于用户交互和元数据来调整视觉覆盖物的渲染。