[发明专利]一种基于虚拟现实的声光交互系统

权利要求书

1.一种基于虚拟现实的声光交互系统，其特征在于：本系统旨在通过头部姿态或手部手势控制场景中追光和声音，通过声音引导头部姿态或手部手势坐标变换，从而控制舞台场景中的追光，实现声光的交互；该系统主要由虚拟现实光学跟踪系统、PC软件端、虚拟现实全景声系统及智能追光系统四部分组成；

虚拟现实光学跟踪系统中，目标人物的头部或手部佩戴有标记点，舞台场景上方设有的智能摄像机拾取运动坐标，智能摄像机拾取运动坐标采集的数据以 60 Hz 的频率刷新，经以太网输送入PC工作站建立文件；

PC软件端中，PC工作站内的PC软件端对PC工作站建立的文件起到配置作用；在 PC 软件端中输入智能摄像机、灯具、扬声器测量参数，包括智能摄像机旋转角度、灯具型号、扬声器安装位置坐标；

虚拟现实全景声系统中，PC工作站利用光学跟踪系统传来的数据，提取目标人物的x轴、y轴和z轴信息，通过追光转换矩阵计算出灯具Tilt和Pan运动参数，传输至灯具控制台输出运动指令，最终驱动灯具在舞台场景中追踪目标人物的运动；同时，PC工作站将虚拟场景中的声源位置，按距离进行衰减，映射到追踪目标位置，实现声光同时工作；

智能追光系统中，当声音骤响，会引导用户的身体转向发声位置，对用户头部姿态或手部手势新位置的捕捉，进而实现新的追光位置，实现声光互动，从而提升虚拟现实的沉浸感和交互性。

2.根据权利要求1所述的一种基于虚拟现实的声光交互系统，其特征在于：搭建虚拟现实光学跟踪硬件系统

光学跟踪硬件系统的基本构成有：

（1）标记点；被追踪目标按照某种规则放置标记点，标记点分为主动标记和被动标记；主动标记采用红外LED，由于与智能摄像机镜头同步，因此区分多个主动标记点；被动标记是光反射元件，智能摄像机的镜头发出光信息，被动标记将光线反射回镜头，采用在标记位置放置反光球；要跟踪测量被追踪目标的身体姿态时，需要在确定的几何形状上布局大于等于三个反光球；

（2）多个动作捕捉的智能摄像机；智能摄像机的镜头从不同角度持续捕捉与其同步的标记点发出或反射的光线，数据实时传输回PC工作站。

3.根据权利要求1所述的一种基于虚拟现实的声光交互系统，其特征在于：PC工作站用来处理各种数据之间的转换，实现各部分的系统联动；PC工作站的功能包括：

追踪目标定位；智能摄像机的摄像头获得的数据被送入PC工作站，通过对比智能摄像机获得图像的边缘坐标数据，得到当前标记点的二维坐标，即两自由度，每个标记点需要至少两个智能摄像机的摄像头数据，才能还原3DOF；

灯具坐标转换；

在当前得到的目标人物自由度数据中，选取位置坐标数据x轴、y轴和z轴信息，通过追光转换矩阵计算出灯具Tilt和Pan运动参数，通过以太网传输给调光控制台外围设备；

虚拟现实场景建模及全景声设计；

在虚拟现实场景中，将虚拟场景坐标与现实空间对应，按照现实空间的扬声器阵列设置多个3D物体模型并添加音源，自动生成追踪目标位置的虚拟现实全景声。

4.根据权利要求1所述的一种基于虚拟现实的声光交互系统，其特征在于：PC工作站通过声卡传输多声道音频信号至虚拟现实全景声播放系统；虚拟现实全景声播放系统的实现有两种方案：一种是在虚拟现实空间外围布置多通道扬声器阵列，各扬声器发出的声音在双耳的强度差产生虚拟声源效果；另一种是利用耳机。

5.根据权利要求1所述的一种基于虚拟现实的声光交互系统，其特征在于：在获得灯具Tilt和Pan运动参数后，便能够作为输入信号直接驱使灯具运动，实现自动追光效果；同时，也能够通过 DMX 信号叠加器将智能追光系统的输出信号与控制台信号合并，在启动自动跟踪模式即打开智能追光系统时，灯具控制台失去对灯具 x 轴和 y 轴的控制，转由智能追光系统的跟踪目标控制。

6.根据权利要求1所述的一种基于虚拟现实的声光交互系统，其特征在于：利用下面两个公式即可得到灯具的Pan和Tilt指令；

其中，（x0,y0,z0）为灯具的空间坐标，(x,y,z)为追踪目标空间坐标。