[发明专利]基于房间式互动投影的动作学习系统及方法

权利要求书

1.一种基于房间式互动投影的动作学习系统，其特征是：包括：

多投影拼接和融合模块，包括多个客户端，每个客户端用于负责房间内一部分区域的投影和显示控制，被配置为将多台投影仪的投影画面，在房间的墙面和地面上拼接起来，平缓过渡融合带；对投影画面进行几何校正、边缘融合和亮度调节，生成拼接融合参数图，形成渲染画面；所述客户端至少包括各墙面客户端和地面客户端；

墙面客户端包括多台主机和多台投影仪，用来将虚拟场景投影到不同的墙面上，获取用户姿态，判断用户动作的准确性；地面客户端包括至少一台主机和多台投影仪，用来将虚拟场景投影到所述不同的墙面上，获取用户脚部位置，判断用户脚部动作的准确性；

动作捕捉和定位模块，被配置为获取用户彩色图像和深度图像，通过与虚拟骨骼的映射，得到用户在相机坐标系下的骨骼各关节坐标值，继而转换到地面投影屏幕坐标系，从而确定用户在房间中的位置；使用动作捕捉设备捕捉用户的姿态；

交互模块，被配置为接收用户的交互模式选择信息，并按照所述交互模式播放渲染画面和学习任务；

反馈模块，被配置为通过可视化形式对学习任务做出反馈；

通信模块，被配置为完成连接投影仪的多台主机之间的通信，实现与客户端的直接通信以及客户端之间的消息传递。

2.如权利要求1所述的一种基于房间式互动投影的动作学习系统，其特征是：所述动作捕捉和定位模块，使用RGBD相机获取用户彩色图像和深度图像，通过与虚拟骨骼的映射，得到用户在相机坐标系下的骨骼各关节坐标值，继而转换到地面投影屏幕坐标系，从而确定用户在房间中的位置；使用动作捕捉设备捕捉用户的姿态，使用网络协议建立网络连接，基于关节位置数据流计算。

3.如权利要求1所述的一种基于房间式互动投影的动作学习系统，其特征是：所述交互模块包括模式选择模块，被配置为支持用户根据自身情况选择不同的学习模式，具体包括学习模式和练习模式；

或，所述交互模块包括人机交互模块，被配置为支持语音交互和体势交互方式，用户通过选择恰当的交互方式来控制动作学习的进度、观看虚拟教练的角度、标准动作的播放速度；

或，所述系统还包括学习质量评估模块，被配置为通过动作相似度匹配算法，对用户各个关节的运动状态进行评价。

4.一种基于房间式互动投影的动作学习方法，其特征是：包括以下步骤：

接收用户的选择模式，捕捉用户位置和动作信息，用于逻辑判断和为虚拟场景中的模型提供数据驱动；所述选择模式包括学习模式和练习模式；

利用RGBD相机获取到用户的骨骼信息，骨骼信息具体为脚部关节点在当前时刻在相机坐标系下的坐标值(x,y,z)；

将关节的名字和坐标打包成数据包，发送到地面客户端，用户穿戴基于惯性传感器的动作捕捉设备，设备将全身关节点的运动数据以BVH数据流的方式传输；

墙面客户端接收数据流并利用unity插件驱动场景中的模型，进行播放投影；

将用户骨骼信息，发送到地面客户端，判断用户步法是否正确；

墙面客户端通过动作捕捉设备获取用户全身节点信息，判断用户动作是否标准，与模板动作进行相似度匹配；

提供虚拟教练画面，提供待学习的分解动作，通过动作捕捉驱动虚拟场景中的学生模型，与虚拟老师的动作进行比对，提供评价报告。

5.如权利要求4所述的一种基于房间式互动投影的动作学习方法，其特征是：学习模式的具体过程包括：

（1）动作开始学习前，语音提醒用户站到指定初始位置，用户发出语音指令，动画播放，开始学习；

（2）每一步动作都会根据用户的学习状态判断是否继续，如果用户做的不到位，就不继续播放动画学习，而是强化学习当前动作；学习状态指脚步和身体各关节与动作模板的相似程度，持续通过用户骨骼获取用户脚的位置，动作捕捉设备持续获取关节运动数据且广播发送到墙面的所有客户端；

（3）一个动作结束，用户发出语音指令，选择继续学习下一动作，或者重复这一招，或者返回主菜单。