[发明专利]用于虚拟现实（VR）、增强现实（AR）和混合现实（MR）系统的分布式音频捕获技术

说明书

本发明涉及用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术。能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的用于捕获音频的系统和方法。一些系统可以包括环境中的多个分布式监测设备，每个监测设备具有麦克风和位置跟踪单元。该系统能够捕获音频信号，同时还捕捉位置跟踪信号，该位置跟踪信号指示在捕获音频信号期间监测设备随时间的位置。该系统能够基于音频信号和位置跟踪信号生成环境中的声波场的至少一部分的表示。该系统还可以基于音频信号和位置跟踪信号来确定环境的一个或多个声学特性。

本申请是申请日为2017年12月4日、PCT国际申请号为PCT/US2017/064540、中国国家阶段申请号为201780085379.2、发明名称为“用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术”的申请的分案申请。

相关申请的交叉引用

与本申请一起提交的申请数据表中标识出的国外或国内优先权要求的任何和所有申请在此根据37CFR1.57通过引用并入。也就是说，本申请要求2016年12月5日提交的题为“DISTRIBUTED AUDIO CAPTURING TECHNIQUES FOR VIRTUAL REALITY(VR),AUGMENTEDREALITY(AR),AND MIXED REALITY(MR)SYSTEMS(用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的分布式音频捕获技术)”的美国临时专利申请No.62/430,268的优先权，其全部内容在此引入作为参考。

技术领域

本公开涉及能够在诸如虚拟现实、增强现实和混合现实系统的应用中使用的分布式音频捕获技术。

背景技术

现代计算和显示技术促进了虚拟现实、增强现实和混合现实系统的发展。虚拟现实或“VR”系统为用户创建模拟的环境来体验。这可以通过将计算机生成的图像通过头戴式显示器呈现给用户来完成。该图像创建让用户沉浸在模拟环境中的感觉体验。虚拟现实场景通常仅涉及计算机生成的图像的呈现，而不是还包括实际的真实世界的图像的呈现。

增强现实系统通常用模拟元素来补充真实世界环境。例如，增强现实或“AR”系统可以通过头戴式显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也能够呈现在显示器上，以增强现实世界环境。该计算机生成的图像可以包括与现实世界环境相关的元素。这样的元素可以包括模拟文本、图像、对象等。混合现实或MR系统还将模拟对象引入到现实世界环境中，但是这些对象通常具有比AR系统更大程度的交互性。

图1描绘了示例的AR/MR场景1，其中用户看到以背景中的人、树、建筑为特征的真实世界的公园设置6以及实体平台20。除了这些项目以外，计算机生成的图像也呈现给用户。计算机生成的图像可以包括例如站在真实世界的平台20上的机器人雕像10，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色2，尽管这些元素2、10不实际存在于真实的世界环境中。

生成有助于虚拟图像元素的自然感觉、令人信服的呈现的VR/AR/MR技术可能具有挑战性。但是音频可以帮助VR/AR/MR体验更加身临其境。因此，需要用于这些类型系统的改进的音频技术。

发明内容

在一些实施例中，一种系统包括：多个分布式监测设备，每个监测设备包括至少一个麦克风和位置跟踪单元，其中监测设备被配置为从声源捕获多个音频信号并捕获多个位置跟踪信号，该多个位置跟踪信号分别指示在捕获多个音频信号期间监测设备随时间的位置；以及处理器，该处理器被配置为接收多个音频信号和多个位置跟踪信号，该处理器还被配置为基于音频信号和位置跟踪信号来生成由声源创建的声波场的至少一部分的表示。