[发明专利]一种基于体感的远程虚拟歌剧指挥系统

权利要求书

1.一种基于体感的远程虚拟歌剧指挥系统，其特征在于，包括体感模块、数据传输模块和场景复现模块；

所述体感模块采用RGBD动作捕捉设备对指挥家身体上预先设定的骨骼节点的三维坐标按照设定的时间间隔分别进行捕捉，并将获取的各帧三维坐标数据送入数据传输模块；

所述数据传输模块采用Socket通信系统接收各骨骼节点的各帧三维坐标数据，并判断各骨骼节点的当前位置数据是否发生丢失或者畸形：如果否，将各骨骼节点三维坐标数据发送至所述场景复现模块；如果是，对该骨骼节点当前位置坐标进行纠正，并更新该骨骼节点的三维坐标后，将各骨骼节点三维坐标数据发送至所述场景复现模块；

所述场景复现模块构建三维仿真场景以及指挥家模型，并根据从数据传输模块接收的各骨骼节点三维坐标数据控制所述指挥家模型对应的骨骼节点移动到相应的位置，实现指挥动作的复现。

2.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述RGBD动作捕捉设备可以为Kinect动作捕捉设备、Kinect2.0动作捕捉设备、AsusXtion动作捕捉设备或者IntelRealSense动作捕捉设备。

3.如权利要求2所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述确定的骨骼节点分布在头部、肩部、手部和四肢，所述骨骼节点的个数为20个。

4.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述数据传输模块接收到体感模块的三维坐标数据后，首先将该三维坐标数据从所述指挥家所在的坐标系转换为指挥家模型所在的三维仿真场景坐标系下，再传输给所述场景复现模块。

5.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述指挥家模型与所述指挥家的比例为1:1。

6.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述三维仿真场景和指挥家模型采用LED屏幕或3D投影方式进行显示。

7.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述数据传输模块根据骨骼节点三维坐标的数据传输率与所述数据捕捉的时间间隔之间的关系，判定是否出现数据丢失。

8.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述数据传输模块根据接收各骨骼节点的各帧三维坐标数据形成各个骨骼节点的相互位置关系，然后基于该位置关系判断各骨骼节点的位置是否发生畸形。

9.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，在骨骼节点坐标出现丢失或者畸形的情况下，数据传输模块对所述前、后两帧数据进行平滑并拟合，以实现对骨骼节点位置坐标的纠正。

10.如权利要求1所述的一种基于体感的远程虚拟歌剧指挥系统，其特征在于，所述三维仿真场景和指挥家模型采用三维仿真引擎构建。