[发明专利]用于生成扩散混响信号的装置和方法

说明书

一种用于生成扩散混响信号的音频装置包括接收器(501)，所述接收器接收表示声音源的多个音频信号和元数据，所述元数据包括扩散混响信号与总信号的关系，所述扩散混响信号与总源的关系指示扩散混响声音相对于所述环境中的总发射声音的水平。对于每个音频信号，所述元数据还包括信号水平指示和方向性数据，所述方向性数据指示来自由所述音频信号表示的所述声音源的声音辐射的方向性。电路(505、507)基于所述信号水平指示和所述方向性数据来确定总发射能量指示，并且基于所述总发射能量和所述扩散混响信号与总信号的关系来确定下混系数。下混器(509)通过组合通过将针对每个音频信号的下混系数应用于所述音频信号而生成的每个音频信号的信号分量来生成下混信号。混响器(407)根据所述下混信号分量生成针对所述环境的所述扩散混响信号。

技术领域

本发明涉及处理音频数据的装置和方法，并且特别地但非排他地，涉及用于处理以生成用于增强/混合/虚拟现实应用的扩散混响信号的装置和方法。

背景技术

基于视听内容的体验的种类和范围近年来已经实质上随着利用和消耗连续开发和引入的这样的内容的新服务和方式而增加。特别地，许多空间和交互式服务、应用和体验正在开发以给予用户更多参与和沉浸的体验。

这样的应用的示例是迅速地变为主流的虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用，其中，多个解决方案瞄准消费者市场。多个标准也在多个标准化主体的开发中。这样的标准化活动积极开发用于VR/AR/MR系统的各个方面的标准，包括例如流传输、广播、渲染等。

VR应用倾向于提供对应于不同世界/环境/场景中的用户的用户体验，而AR(包括混合现实MR)应用倾向于提供对应于当前环境中的用户的用户体验，但是其中，添加了额外的信息或虚拟对象或信息。因此，VR应用倾向于提供完全沉浸式的合成生成的世界/场景，而AR应用倾向于提供叠加用户物理存在于的真实场景的部分合成的世界/场景。然而，术语常常可交换地使用并且具有高重叠度。在以下中，术语虚拟现实/VR将被用于指代虚拟现实和增强/混合现实两者。

作为示例，日益流行的服务是以这样的方式提供图像和音频：用户能够主动并且动态地与系统交互以改变渲染的参数，使得这将适于用户的位置和取向的移动和改变。许多应用中的非常吸引人的特征是改变观看者的有效观看位置和观看方向的能力，诸如例如允许观看者在呈现的场景中移动和“环视”。

这样的特征可以特别地允许虚拟现实体验被提供给用户。这可以允许用户在虚拟环境中(相对)自由地到处移动并且动态地改变他的位置以及他正在看何处。通常，这样的虚拟现实应用基于场景的三维模型，其中，模型被动态地评价以提供特定请求视图。该方法从例如用于计算机和控制台的游戏应用(诸如在第一人称射击的类别中)众所周知。

还期望的是，特别是针对虚拟现实应用，呈现的图像是通常使用立体显示器呈现的三维图像。实际上，为了优化观看者的沉浸感，对于用户而言将呈现的场景体验为三维场景通常是优选的。实际上，虚拟现实体验应当优选地允许用户选择他/她自己的位置、视点、以及相对于虚拟世界的时刻。

除视觉渲染之外，大多数VR/AR应用还提供对应的音频体验。在许多应用中，音频优选地提供其中音频源被感知为从对应于视觉场景中的对应对象的位置的位置到达的空间音频体验。因此，音频和视频场景优选地被感知为是一致的并且提供全空间体验。

例如，许多沉浸式体验由通过使用双耳音频渲染技术的耳机重放生成的虚拟音频场景提供。在许多场景中，这种耳机重放可以基于头部跟踪，使得可以响应于用户的头部移动来进行渲染，这极大地增加了沉浸感。

许多应用的重要特征是如何生成和/或分布可以提供音频环境的自然且逼真感知的音频。例如，当为虚拟现实应用生成音频时，重要的是不仅生成期望的音频源，而且还修改这些音频源以提供音频环境的真实感知，包括阻尼、反射、着色等。