[发明专利]预测性的头部跟踪的双耳音频渲染

说明书

公开了用于预测性的头部跟踪的双耳音频渲染的方法和装置，其中渲染设备基于从头戴式耳机接收的头部跟踪数据来渲染用于不同的可能头部位置的多个音频流，例如用于最后已知位置和一个或多个所预测或可能的位置的音频流，并且将所述多个音频流传输给头戴式耳机。所述头戴式耳机然后基于当前头部跟踪数据来选择和播放所述音频流中最靠近实际头部位置的一个音频流。如果所述音频流中没有任何一个音频流紧密地匹配实际头部位置，则可混合两个最靠近的音频流。向头戴式耳机传输多个音频流以及在头戴式耳机上选择或混合音频流可减轻或消除感知到的头部跟踪延迟。

背景技术

虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图组合，以增强用户的世界视图或向用户的世界视图添加内容，或者另选地将真实世界对象的虚拟表示与三维(3D)虚拟世界的视图组合。因此，虚拟现实的模拟环境和/或混合现实的混合环境可用于为多种应用提供交互式用户体验。

发明内容

本文描述了用于预测性的头部跟踪的双耳音频渲染的方法和装置的各种实施方案。本文描述了音频渲染系统和音频渲染方法的实施方案，其可例如由移动多用途设备诸如智能电话、平板设备和平板电脑设备实施，所述移动多用途设备渲染并经由无线技术(例如，蓝牙)传输头部跟踪的双耳音频给用户所穿戴的双耳音频设备(例如，耳机、耳塞等)。实施方案也可在包括计算设备(称为基站)的VR/AR系统中实施，所述计算设备渲染并经由无线技术将头部跟踪的双耳音频传输给提供双耳音频输出的头戴式显示器 (HMD)或提供给与HMD一起使用的单独的双耳音频设备。用户所穿戴的提供双耳音频输出的设备(例如，HMD、耳机、耳塞等)在本文中可称为“头戴式耳机”。渲染并传输音频给头戴式耳机的设备在本文中可被称为“渲染设备”。头戴式耳机可包括头部跟踪技术(例如，IMU(惯性测量单元)、陀螺仪、姿态传感器、罗盘等)。

头部跟踪的双耳音频渲染是可用于包括但不限于VR/AR应用的应用中来创建虚拟音频源的技术，该虚拟音频源在环境中看起来是稳定的，而与收听者的实际取向/位置无关。头部跟踪的双耳音频渲染方法可将双耳音频流(包括左音频声道和右音频声道)输出给头戴式耳机，使得收听者以空间音频感听到声音。换句话说，收听者听到的声音就好像声音是以精确的距离和方向来自真实世界位置一样。

在对头部运动进行响应时，所感知到的延迟可能在头部跟踪、渲染和回放音频方面是一个问题。当头部跟踪数据和音频在渲染设备和头戴式耳机之间通过无线链路传输时，延迟可能是个特别的问题，可能会增加 300ms或更长的延迟。在实施方案中，为了缓解所感知到的延迟的问题，渲染设备不是基于预测的头部位置生成单个音频流，而是基于头部跟踪数据渲染用于多个不同头部位置的多个音频流，例如用于最后已知位置和一个或多个所预测或可能位置的音频流，并且在多个音频流中将用于这些不同位置的音频传输给头戴式耳机。标识不同流的位置的元数据可以与音频流包括在一起。然后头戴式耳机基于当前头部跟踪数据和所述元数据来选择所述音频流中最靠近实际头部位置的一个音频流。选择音频流是一种相对简单且低成本的操作，因此在头戴式耳机上只需要最小的处理能力。在一些实施方案中，如果音频流中没有任何一个音频流与实际头部位置紧密匹配，则头戴式耳机可选择两个最靠近的音频流并混合所述音频流。向头戴式耳机发送多个音频流以及在头戴式耳机上选择(或混合)匹配音频流可缓解或消除感知到的头部跟踪延迟。

在一些实施方案中，如果存在单个虚拟音频源，则渲染设备可基于由头戴式耳机接收的头部跟踪数据所指示的头部位置来渲染单个音频流。在头戴式耳机处，头戴式耳机可基于由当前头部跟踪数据确定的用户的头部的实际位置来改变左音频声道和/或右音频声道以调节虚拟音频源的感知位置，例如通过向左音频声道或右音频声道添加延迟。