[发明专利]三维音频系统

说明书

本说明包括可以在用户接口界面中呈现的三维空间的网格上定义滤波器及其分布网络的技术规范。可以从输入单声道或立体声中分离或从麦克风阵列的输出中确定多个音轨，其中每个音轨与在三维空间中相应声源位置有关。相对位置可由听者在用户界面设置。根据三维空间中听者和声源相对位置，在滤波器的分布网格中选择一对或多对滤波器。将每对滤波器应用于相应的音轨，以生成多个经滤波的音轨，然后用从多个经滤波的音轨生成三维声音供耳机收听。如使用多个扬声器，上述每个分离或确定的音轨可直接(即全通滤波)经放大器驱动每一个对应的扬声器。多个扬声器的声音可直接构成三维音场，不必佩戴耳机亦可听到所述的三维声音。

相关申请的交叉引用

本申请要求以下专利申请的权益：于2020年4月11日提交的美国临时申请No.63/008,723；以及于2020年6月9日提交的美国临时申请No.63/036,797，各申请的全部内容通过引用包含于此。

技术领域

本说明涉及三维声音的产生，并且特别地涉及用于拾音或处理混合音轨成为分离的声音类型，然后对分离的声音施加传递函数以生成三维声音的系统和方法，该三维声音包含有关声源的空间信息，以及根据用户设置重新创建的三维(3D)声场。

技术背景

世界各地数十亿人听音乐，但大多数听者仅能以单声道或立体声声音格式听音乐，立体声是声音再现的方法。但是，立体声声音通常仅指使用两个扬声器或头戴式耳机播放的两个音频通道。诸如环绕声之类的更多的沉浸式声音技术则需要记录并保存多个音轨(例如5.1或7.1环绕声设置)，并且声音必须通过相等数量的扬声器播放。音频通道或音轨中的每一个都包含来自多个声源的混合声音。因此，立体声声音不同于“真实的”声音(例如，音乐会舞台前的声音)，因为关于独立声源的空间信息(例如，乐器和人声的方位)没有反映在该声音中。本说明的方法可以使用多个扬声器或头戴式耳机播放的多个独立的音频通道，使得来自扬声器或耳机的声音如在自然听觉中那样来自各种方向。

人用两只耳朵可以感知空间信息并听到“真正的”三维(3D)声音作为双耳(Binaural)声音(例如，由左耳和右耳感知的声音)，例如在音乐厅、剧院或者在体育场或竞技场的体育赛事中通过双耳感知音乐。但是，如上所述，今天的音乐技术通常仅提供没有空间提示或空间信息的单声道或立体声声音。因此，与通过头戴式耳机或耳塞式耳机或在扬声器或甚至在多音轨、多扬声器环绕系统上的音乐和在剧院、竞技场和音乐厅中的体验的音乐会有所不同，后者通常会更令人愉悦。目前，可以实现生成3D声音，例如，通过安装在电影院的墙壁上的许多扬声器且各个扬声器被电影制作过程中录制的分离的音轨所驱动。但是，这种3D音频系统可能非常昂贵，无法在移动装置中应用(应用软件)实现，甚至在大多数家庭影院或车载音响中也无法实现。因此，在今天的音乐和娱乐行业中，大多数的音乐或其他音频数据作为单声道或立体声声音被存储和播放，其中所有的声源(如人声和各种乐器)被预混合成仅一个(单声道)或两个(立体声)音轨。

来自视频会议装置(诸如计算机、膝上型计算机、智能电话、或平板电脑)的大部分音频/声音是单声道声音。尽管在显示屏幕上，用户(例如，出席者或参与者)可以在分开的窗口中看到该会议的所有参与者，但音频通常仅为具有窄带宽的一个单声道。使用各个不同出席者的视频，可以实现虚拟会议室，但音频组件无法匹配视频组件，因为不能提供更准确的(例如，空间)虚拟现实声音体验所需的3D声音。此外，当两个出席者具有相似的发声语音时，用户在他们同时或甚至单独讲话时可能无法分辨语音。例如，当用户在另一个屏幕或视频窗口上看共享文档而用户没有看着出席者面部，就可能发生这种情况。当更多的出席者参加视频会议(例如，远程学习教室)时，该问题可能会更加严重。用户需要空间信息，例如3D声音，以帮助识别哪位出席者正在讲话。

附图说明

通过以下给出的详细描述和本说明的各种实施例的附图，将更充分地理解本说明。然而，附图不应被用于将本说明限制于特定实现实例，而仅是为了解释和理解。

图1A-1B示出了根据本说明实现的用于生成三维声音的系统。