[发明专利]基于房间式互动投影的动作学习系统及方法

说明书

本公开提出了一种基于房间式互动投影的动作学习系统及方法，本公开构建了一种沉浸式动作学习虚拟环境，用户置身于一个房间两侧装有镜子，墙面和地面均有投影的房间内，用户能够观察自身动作，同时在学习运动的过程中改变各面投影呈现的内容，用户的视点不需要固定在某面投影上，可以随着动作自然改变，不需要额外的转头动作，能够保证较好的教学质量。

技术领域

本公开属于虚拟现实技术领域，涉及一种基于房间式互动投影的动作学习系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

虚拟现实技术(Virtual Reality,VR)近年来蓬勃发展，是一种强大的潜在教育资源，有想象性、互动性、沉浸性等特性。随着动作捕捉和虚拟现实显示设备的进一步发展，虚拟现实技术可以打破教学资源和场景的限制，创造有效的学习环境和引人入胜的娱乐体验，增强用户的视觉体验和情感体验。训练通常被认为是虚拟现实最自然的应用领域之一，虚拟现实技术可以为体育运动方面的教学提供更好的视觉感受和更全面的动作展示，提供更高水平的互动感和沉浸感。

据发明人了解，目前存在部分基于VR的通过各种交互方法学习精确的动作的教学训练技术方案，但是，目前动作学习系统存在的问题主要表现在：

(1)由于教练自己身体的遮挡，不能直观地学习动作，用户不能从各个角度全方位地观看、学习动作。

(2)体育、舞蹈等运动中常常有转身转头等动作，这一特性使用户的视点不能长时间固定不动，需要随着身体而转动，而目前的VR系统没有考虑到这一点。

(3)由于动作捕捉设备精度不足，对于复杂的运动动作，或者造成延迟，用户不能实时看到自己驱动的三维虚拟人物的动作。

(4)反馈和练习是习得动作技能的最重要的两个条件。现在的学习系统没有很好的动作参照和动作纠正机制，用户不知道自己做的动作是否标准、偏差多少以及如何改正。

发明内容

本公开为了解决上述问题，提出了一种基于房间式互动投影的动作学习系统及方法，本公开构建了一种沉浸式动作学习虚拟环境，用户置身于一个房间两侧装有镜子，墙面和地面均有投影的房间内，用户能够观察自身动作，同时在学习运动的过程中改变各面投影呈现的内容，用户的视点不需要固定在某面投影上，可以随着动作自然改变，不需要额外的转头动作，能够保证较好的教学质量。

根据一些实施例，本公开采用如下技术方案：

一种基于房间式互动投影的动作学习系统，包括：

多投影拼接和融合模块，包括多个客户端，每个客户端用于负责房间内一部分区域的投影和显示控制，被配置为将多台投影仪的投影画面，在房间的墙面和地面上拼接起来，平缓过渡融合带；对投影画面进行几何校正、边缘融合和亮度调节，生成拼接融合参数图，形成渲染画面；

动作捕捉和定位模块，被配置为获取用户彩色图像和深度图像，通过与虚拟骨骼的映射，得到用户在相机坐标系下的骨骼各关节坐标值，继而转换到地面投影屏幕坐标系，从而确定用户在房间中的位置；使用动作捕捉设备捕捉用户的姿态；

交互模块，被配置为接收用户的交互模式选择信息，并按照所述模式播放渲染画面和学习任务；

反馈模块，被配置为通过可视化形式对学习任务做出反馈；

通信模块，被配置为完成连接投影仪的多台主机之间的通信，实现与客户端的直接通信以及客户端之间的消息传递。

作为可选择的实施方式，所述客户端至少包括各墙面客户端和地面客户端。