[发明专利]用于视听内容的可变音频

权利要求书

1.一种方法，所述方法包括：

在具有处理器的电子设备处：

获得物理环境的视听内容，其中所述视听内容包括视觉内容和音频内容，所述音频内容包括与所述视觉内容对应的多个音频部分；

确定用于呈现所述视听内容的上下文；

确定所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的时间关系，所述时间关系基于所述上下文来确定；以及

基于所述时间关系呈现合成视听内容。

2.根据权利要求1所述的方法，其中所述多个音频部分包括视听AV捕获设备的用户的音频、低频音频、环境音频或多个空间化音频流，其中所述视觉内容至少包括2D图像、3D图像、2D图像序列或3D图像序列、3D照片或包括对应音频的3D视频。

3.根据权利要求1所述的方法，所述方法还包括基于与所述物理环境的所述视听内容一起包括的元数据或对应视觉内容的场景分析来对所述多个音频部分的区段进行语义标记。

4.根据权利要求3所述的方法，其中所述元数据包括与所述AV捕获设备相关的信息，包括所述AV捕获设备的姿态、移动、传感器和传感器数据；与所述AV捕获设备的用户相关的信息，包括注视、身体移动和操作输入；与所述AV捕获设备在捕获期间的环境相关的信息；或与场景或所述视觉内容相关的信息。

5.根据权利要求1所述的方法，所述方法还包括基于对所述音频内容的分析来对所述多个音频部分的至少一个区段进行语义标记，其中对所述多个音频部分的至少一个区段进行语义标记由所述AV捕获设备、处理电子设备或所述电子设备执行。

6.根据权利要求1所述的方法，其中所述音频内容与所述视觉内容脱离。

7.根据权利要求1所述的方法，其中确定用于呈现所述视听内容的上下文基于用户在包括所述视听内容的表示的扩展现实XR环境中的动作。

8.根据权利要求1所述的方法，其中确定用于呈现所述视听内容的所述上下文包括至少确定是否基于用户动作选择所述视听内容，以及确定所述用户与所述视听内容的表示之间的空间距离。

9.根据权利要求1所述的方法，其中所述时间关系基于所述多个音频部分的语义来确定。

10.根据权利要求1所述的方法，其中所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的所述时间关系包括第一音频循环与所述视觉内容的静态表示之间的关联以及第二音频循环与所述视觉内容的循环表示之间的关联。

11.根据权利要求1所述的方法，其中所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的所述时间关系包括点源音频部分与所述视觉内容之间的关联、立体声音频部分与所述视觉内容之间的关联、环境音频部分与所述视觉内容之间的关联，以及空间化音频部分与所述视觉内容之间的关联。

12.根据权利要求1所述的方法，其中确定所述多个音频部分中的一个或多个音频部分与所述视觉内容之间的时间关系包括增强或减少针对所述视觉内容的所述音频内容。

13.根据权利要求1所述的方法，其中呈现所述合成视听内容将所述视觉内容呈现在虚拟帧中或虚拟帧上。

14.根据权利要求1所述的方法，其中：

所述视觉内容包括视频；

所述上下文包括所述视听内容未被用户选择、所述用户将视线背离所述视听内容的表示，或者所述用户距要呈现所述视听内容的位置大于阈值距离；

所述时间关系包括基于所述一个或多个音频部分生成的第一音频循环与所述视频的第一表示之间的关联；并且

所述合成视听内容包括所述第一音频循环和所述视频的所述第一表示。