[发明专利]一种基于虚拟现实的声光交互系统

说明书

本发明公开了一种基于虚拟现实的声光交互系统，利用追踪目标定位和动作捕捉技术，有效的将舞台追光技术与虚拟现实声学感知技术相融合，最终实现声音和光影的交互，加强虚拟现实环境的沉浸感。通过头部手势控制场景中追光和声音，通过声音引导头部手势坐标变换，从而控制舞台场景中的追光，实现声光的交互。该系统由虚拟现实光学跟踪系统、PC软件端、虚拟现实全景声系统及智能追光系统四部分组成。虚拟现实声源位置设置方式将用户位置、虚拟声源坐标及扬声器阵列位置建立精确映射，实现自动追光效果。用户的空间定位除了采用光学跟踪方式以外，还可以在精度要求不高的场景中采用kinect光学设备或语音交互等形式。

技术领域

本发明公开了一种基于虚拟现实的声光交互系统，属于虚拟现实交互技术领域。

背景技术

虚拟现实(VR)交互技术对提升VR沉浸感起到至关重要的作用。现有的交互技术研究及应用主要集中在视频领域，而光影音效的交互却鲜少研究，现阶段虚拟现实环境下的声光系统大多是分离的。交互技术是以定位技术为基础的，常见的室内短距离定位技术有超宽带(UWB)技术、蓝牙技术、射频识别技术(RFID)、wifi技术和ZigBee技术等等。在光影方面，捕捉运动物体一般采用专用追光灯。在虚拟现实音频方面，将声源进行分轨，通过对使用者的跟踪，使其在每个空间点的听觉都不相同，把声场营造出立体感。

目前还没有实现声光交互的合适的技术方案。在虚拟现实领域，超宽带(UWB)技术、蓝牙技术、射频识别技术(RFID)、wifi技术和ZigBee技术等在精确性、稳定性和抗干扰性方面都远不及光学跟踪技术，而虚拟现实技术对跟踪定位的要求非常高，因此选用光学跟踪最能满足所需。为减少人力和提高追光艺术表现力，舞台上常用大功率灯具替代专业追光灯实现追光或者跟踪效果。现阶段的虚拟现实音频，一般用于根据剧情需要来渲染气氛或者引起人的关注，并没有对光影产生交互影响的效果。

发明内容

本发明的目的在于利用追踪目标定位和动作捕捉技术，有效的将舞台追光技术与虚拟现实声学感知技术相融合，最终实现声音和光影的交互，加强虚拟现实环境的沉浸感。

本发明采用的技术方案为一种基于虚拟现实的声光交互系统，本系统旨在通过头部手势控制场景中追光和声音，通过声音引导头部手势坐标变换，从而控制舞台场景中的追光，实现声光的交互。该系统主要由虚拟现实光学跟踪系统、PC软件端、虚拟现实全景声系统及智能追光系统四部分组成。

虚拟现实光学跟踪系统中，目标人物的头部或手部佩戴有标记点，舞台场景上方设有的智能摄像机拾取运动坐标，智能摄像机拾取运动坐标采集的数据以60Hz的频率刷新，经以太网输送入PC工作站建立文件；

PC软件端中，PC工作站内的PC软件端对PC工作站建立的文件起到配置作用。在PC软件端中输入智能摄像机、灯具、扬声器等测量参数，包括智能摄像机旋转角度、灯具型号、扬声器安装位置坐标。

虚拟现实全景声系统中，PC工作站利用光学跟踪系统传来的数据，提取目标人物的x轴、y轴和z轴信息，通过追光转换矩阵计算出灯具Tilt和Pan等运动参数，传输至灯具控制台输出运动指令，最终驱动灯具在舞台场景中追踪目标人物的运动。同时，PC工作站将虚拟场景中的声源位置，按距离进行衰减，映射到追踪目标位置，实现声光同时工作。

智能追光系统中，当声音骤响，会引导用户的身体转向发声位置，对用户头部手势新位置的捕捉，进而实现新的追光位置，实现声光互动，从而提升虚拟现实的沉浸感和交互性。

S1搭建虚拟现实光学跟踪硬件系统

在规定空间内对物体或对象的位置或者姿态测量，称为跟踪。跟踪的信息量即为自由度：如果仅仅测量x、y、z坐标，那么称之为三自由度(3DOF or 3D)跟踪。光学跟踪即为红外跟踪。

光学跟踪硬件系统的基本构成有：