[发明专利]基于运动来选择音频流

说明书

概括而言，描述了用于基于运动选择音频流的技术的各个方面。一种包括处理器和存储器的设备可以被配置为执行所述技术。处理器可以被配置为：获得设备的当前位置，并且获得捕获位置。每个捕获位置可以标识音频流中的相应的一个音频流被捕获的位置。处理器还可以被配置为：基于当前位置和捕获位置来选择音频流的子集，其中，音频流的子集具有与音频流相比更少的音频流。处理器还可以被配置为：基于音频流的子集来再现声场。存储器可以被配置为：存储多个音频流的子集。

依据35 U.S.C.§119要求优先权

本专利申请要求享受于2019年12月13日递交的、名称为“SELECTING AUDIOSTREAMS BASED ON MOTION”的非临时申请No.16/714,150的优先权，上述申请被转让给本申请的受让人并且据此通过引用的方式明确地并入本文中。

技术领域

本公开内容涉及对音频数据的处理。

背景技术

正在开发计算机介导的现实系统，以允许计算设备对用户体验到的现有现实进行增强或添加、去除或减少、或通常进行修改。计算机介导的现实系统(其也可以被称为“扩展现实系统”或“XR系统”)可以包括例如虚拟现实(VR)系统、增强现实(AR)系统和混合现实(MR)系统。计算机介导的现实系统的感知成功通常与此类计算机介导的现实系统在视频和音频体验两者方面提供真实沉浸式体验(其中视频和音频体验以用户期望的方式对齐)的能力有关。尽管人类视觉系统比人类听觉系统更敏感(例如，在场景内的各种对象的感知定位方面)，但是确保充分的听觉体验是在确保真实的沉浸式体验方面越来越重要的因素，尤其是随着视频体验改善以允许更好地定位使得用户能够更好地识别音频内容的源的视频对象。

发明内容

概括而言，本公开内容涉及用于基于用户运动来从一个或多个现有音频流中选择音频流的技术。所述技术可以改善收听者体验，同时也减少声场再现定位错误，因为所选择的音频流可以更好地反映收听者相对于现有音频流的位置，从而改进回放设备(其执行用于再现声场的技术)本身的操作。

在一个示例中，所述技术涉及一种被配置为处理一个或多个音频流的设备，所述设备包括：一个或多个处理器，其被配置为：获得所述设备的当前位置；获得多个捕获位置，所述多个捕获位置中的每个捕获位置标识多个音频流中的相应的一个音频流被捕获的位置；基于所述当前位置和所述多个捕获位置来选择所述多个音频流的子集，所述多个音频流的所述子集具有与所述多个音频流相比更少的音频流；以及基于所述多个音频流的所述子集来再现声场；以及存储器，其耦合到所述处理器并且被配置为存储所述多个音频流的所述子集。

在另一示例中，所述技术涉及一种处理一个或多个音频流的方法，所述方法包括：获得设备的当前位置；获得多个捕获位置，所述多个捕获位置中的每个捕获位置标识多个音频流中的相应的一个音频流被捕获的位置；基于所述当前位置和所述多个捕获位置来选择所述多个音频流的子集，所述多个音频流的所述子集具有与所述多个音频流相比更少的音频流；以及基于所述多个音频流的所述子集来再现声场。

在另一示例中，所述技术涉及一种具有存储在其上的指令的非暂时性计算机可读存储介质，所述指令在被执行时使得设备的一个或多个处理器进行以下操作：获得设备的当前位置；获得多个捕获位置，所述多个捕获位置中的每个捕获位置标识多个音频流中的相应的一个音频流被捕获的位置；基于所述当前位置和所述多个捕获位置来选择所述多个音频流的子集，所述多个音频流的所述子集具有与所述多个音频流相比更少的音频流；以及基于所述多个音频流的所述子集来再现声场。

在另一示例中，所述技术涉及一种被配置为处理一个或多个音频流的设备，所述设备包括：用于获得设备的当前位置的单元；用于获得多个捕获位置的单元，所述多个捕获位置中的每个捕获位置标识多个音频流中的相应的一个音频流被捕获的位置；用于基于所述当前位置和所述多个捕获位置来选择所述多个音频流的子集的单元，所述多个音频流的所述子集具有与所述多个音频流相比更少的音频流；以及用于基于所述多个音频流的所述子集来再现声场的单元。