[发明专利]用于视听内容的可变音频

说明书

本公开涉及用于视听内容的可变音频。本文所公开的各种具体实施包括根据一些具体实施基于上下文修改回放AV内容的音频的设备、系统和方法。在一些具体实施中，获得物理环境的视听内容，并且该视听内容包括视觉内容和音频内容，该音频内容包括与该视觉内容对应的多个音频部分。在一些具体实施中，确定用于呈现该视听内容的上下文，并且基于该上下文确定该多个音频部分中的一个或多个音频部分与该视觉内容之间的时间关系。然后，基于该时间关系呈现合成视听内容。

相关申请的交叉引用

本申请要求2020年7月16日提交的美国临时申请序列号63/052,519的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及用于捕获视听(AV)内容或所捕获AV内容的回放的系统、方法和设备。

背景技术

存在用于捕获AV内容的各种技术。然而，用于回放AV内容的现有技术具有各种缺陷。

发明内容

本文所公开的各种具体实施包括基于上下文在回放期间呈现或修改所捕获的AV内容的音频的设备、系统和方法。在一些具体实施中，基于用户的动作和/或用户的位置来确定该上下文。上下文可包括AV内容是被选择还是未被选择，用户是正看向AV内容还是将视线背离AV内容，或者用户是否在扩展现实(XR)环境中处于该AV内容的规定距离内。

在一个示例中，AV内容包括照片，并且基于照片未被选择、用户正看向照片之外的某物、用户在XR环境中站在距照片超过阈值距离的位置处或者用户在XR环境中移动远离照片来识别第一上下文。基于检测到该第一上下文，该照片设置有相关联的音频内容的所选择部分的循环。相比之下，在该示例中，基于照片被选择、用户正看向照片、用户在XR环境中靠近照片站立或者用户在XR环境中朝向照片移动来识别第二上下文。基于检测到该第二上下文，该照片设置有相关联的音频的不同部分或附加部分(例如，完整音频/空间化音频)。作为具体示例，当用户未看向烟花的照片时，照片可设置有一些环境烟花声音的循环，而当用户看向照片时，照片可设置有空间化烟花声音和观众掌声。

在一些具体实施中，基于识别音频内容的来源、类型或其他语义信息(例如，摄影者的语音、环境音频和/或多个空间化音频流如环绕声)的元数据来选择用于多个不同上下文中的每个上下文的音频内容。

在一些具体实施中，音频部分与视觉内容之间的时间关系基于该上下文来确定并用于渲染AV内容。该时间关系可基于指定将在哪些上下文中提供各种类型的音频部分的规则来确定。

在一些具体实施中，在具有处理器的电子设备处，一种方法包括获得物理环境的视听内容，其中该视听内容包括视觉内容和音频内容，该音频内容包括与该视觉内容对应的多个音频部分。在一些具体实施中，确定用于呈现视听内容的上下文，并且确定该多个音频部分中的一个或多个音频部分与该视觉内容之间的时间关系，该时间关系基于该上下文来确定。在一些具体实施中，基于时间关系来呈现合成视听内容。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的示例性操作环境的图示。

图2是根据一些具体实施的示例性电子设备的图示。

图3是示出示例性环境的框图。

图4是示出根据一些具体实施的在图3的环境中捕获帧序列中的帧的移动设备的框图。

图5是示出根据一些具体实施的在XR环境中呈现的示例性3D合成AV内容的框图。

图6是示出根据一些具体实施的基于上下文呈现AV内容的音频的示例性方法的流程图。