[发明专利]一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法

权利要求书

1.一个动态跟随听觉视角的虚拟现实音频双耳再现系统，主要由负责姿态解析和生成VR音频数据的上位机模块，负责采集听者头部姿态信息的JY61姿态角传感器模块，负责姿态信息提取和VR音频数据DA转换的STM32F103VET6核心处理器模块，负责上位机模块和核心处理器模块通信的HC-05无线蓝牙传输模块以及最终用于VR音频播放的双耳耳机模块组成，系统框架图如说明书附图1所示。其特征在于，音频处理集成电路使用JY61姿态角传感器采集得到听者头部的实时姿态原始信息，将该信息传输至STM32F103VET6核心处理器模块进行头部姿态信息提取；并经由HC-05蓝牙收发模块发送给上位机模块，上位机模块进行姿态角信息解析得到当前VR空间方位信息，对音频数据流进行空间方位信息的添加得到VR音频数据流；最后将该音频数据流经由HC-05蓝牙收发模块发送至STM32F103VET6核心处理器模块进行DA转换并送至双耳耳机播放；其中STM32F103VET6核心处理器模块包括但不仅限于5V_USB电源模块，启动电路模块、USB转串口模块以及时钟振荡电路模块。

2.一种动态跟随听觉视角的虚拟现实音频双耳再现方法，采用根据权利要求1所述的动态跟随听觉视角虚拟现实音频双耳再现系统进行VR音频的制作和播放，其特征在于在声源的绝对方位既定的基础上，基于听者头部姿态信息进行姿态解析得到听者应该得到的声源当前的相对方位，基于该相对方位对音频数据流进行空间方位信息的添加得到VR音频。其操作步骤如下：

1)在音频处理集成电路，由JY61姿态角传感器采集得到听者头部当前的姿态信息；使用STM32F103VET6核心处理器提取姿态信息中的俯仰角变化信息，并经由HC-05蓝牙收发模块发送给上位机模块；

2)上位机模块接收当前头部方位姿态角变化数据(α,β,γ)，针对声源的初始方位角基于四元数解析得到声源针对当前头部姿态的方位角信息并与音频数据帧进行分段卷积得到包含当前声源相对方位信息的VR音频数据流；

3)上位机模块将步骤2得到的包含当前声源方位信息的VR音频数据流经由HC-05蓝牙收发模块发送给耳机端进行DA转换和播放。

3.根据权利要求2所述的一种动态跟随听觉视角的虚拟现实音频双耳再现方法，根据系统得到的听者当前的头部姿态信息，解析得到声源相对于当前的头部姿态的方位角计算步骤如下：

1)根据用户的设定得到声源的初始绝对空间极坐标方位且在本发明中仅探讨头部姿态转动问题，不考虑距离移动，所以假设听者距离声源的距离＝1m，并保持不变；

采集得到头部的姿态角变化(α,β,γ)，其中，根据四元数法计算得到声源现在相对于听者的方位，声源的初始四元数坐标可以表示为从JY61姿态角传感器中获取到手机的相对角度变动(α,β,γ)后，根据相对运动，头部的旋转可以看作声源相对头部做出(-α,-β,-γ)的旋转，即沿着x轴方向(1,0,0,0)旋转-α，沿着y轴方向(0,1,0,0)旋转-β，沿着z轴方向(0,0,1,0)旋转-r。则旋转因子q为：

根据声源的旋转可由四元数的旋转公式

p′＝qpq^-1 (2)

计算得到，将计算得到的当前四元数坐标p′转换到球坐标系即可得到现在的声源对当前头部姿态的相对方向。