[发明专利]一种基于动作捕捉的古琴体验学习系统及实现方法

说明书

本发明涉及一种基于动作捕捉的古琴体验学习系统，并给出实现方法。所述系统包括：信息采集模块，信息处理模块，反馈显示模块，所述的信息采集模块，捕捉当前用户演奏时的场景数据，包括彩色图像及深度数据，并将采集到的图像发送到信息处理模块。所述的信息处理模块，根据信息采集模块输入的场景数据进行处理，并将结果传至反馈显示模块，其功能包括：从采集到的场景信息中提取用户身材数据；在用户正前方区域划定符合用户身材数据的虚拟古琴区域，并计算得到虚拟古琴各琴弦的岳山及徽位所对应的空间坐标；计算用户手部位置所对应的琴弦序号，并与用户当前学习减字谱字符在系统中预存的对应琴弦序号进行比对。

技术领域

本发明涉及人机交互领域，具体涉及一种基于动作捕捉的古琴体验学习系统及实现方法。

背景技术

古琴是世界上最古老的弹拨乐器之一，已有超过3000年的历史，是首项入选世界非物质文化遗产的中国乐器。然而，古琴及其文化在现代社会的传承却面临着危机。其制作工艺复杂，价格昂贵，普通民众难以负担。不同于其他主流乐器使用五线谱或简谱作为乐谱，古琴具有其专属乐谱“减字谱”，其字符用于标识演奏应使用的指法及弹奏位置。这类乐谱识读较为困难，初学者难以在短时间内掌握。

发明内容

本发明针对古琴文化在推广过程中遇到的问题，提供了一种基于动作捕捉的古琴体验学习系统及实现方法，通过低成本的动作捕捉设备取代价格昂贵的实体古琴供用户体验学习古琴，提供指法指导、练习效果反馈等功能，有效解决了古琴及其文化在推广过程中实体古琴难以获取、减字谱识读困难的问题，降低了古琴学习的难度，有利于古琴这项传统文化的传承与推广。本发明采用如下的技术方案：

一种基于动作捕捉的古琴体验学习系统，其特征在于：所述系统包括：信息采集模块，信息处理模块，反馈显示模块，

所述的信息采集模块，捕捉当前用户演奏时的场景数据，包括彩色图像及深度数据，并将采集到的图像发送到信息处理模块。

所述的信息处理模块，根据信息采集模块输入的场景数据进行处理，并将结果传至反馈显示模块，其功能包括：从采集到的场景信息中提取用户身材数据；在用户正前方区域划定符合用户身材数据的虚拟古琴区域，并计算得到虚拟古琴各琴弦的岳山及徽位所对应的空间坐标；计算用户手部位置所对应的琴弦序号，并与用户当前学习减字谱字符在系统中预存的对应琴弦序号进行比对。

所述的反馈显示模块，具有视觉反馈和音频反馈功能，视觉反馈体现在系统具有显示界面，显示内容根据信息处理结果而确定，音频反馈体现在根据信息处理结果播放对应的音调。

进一步地：信息采集模块使用Kinect设备捕捉当前用户演奏时的场景数据，信息处理模块使用Kinect官方SDK识别用户的髋部、肩部、手部关节位置，计算得到用户髋部高度，肩部宽度，从而获得用户身材数据。

进一步地：其视觉反馈显示界面包含用户使用系统的实时场景画面、虚拟古琴三维模型、虚拟古琴平面示意图、用户手部位置在虚拟古琴上的投影、用户演奏评分和用于辅助用户演奏的指导性信息。

进一步地：所述的辅助用户演奏的指导性信息包括：当前演奏的减字谱字符及其指法解释、演奏当前减字谱字符应使用的手指、在琴弦上的弹拨或按压位置与方向提示。

本发明同时提供一种基于动作捕捉的古琴体验学习系统的实现方法，其特征在于包括以下步骤：

(1)设置：提示用户选择待学习的乐曲，并根据用户选择的乐曲在预设数据库中检索其对应的辅助用户演奏的指导性信息；

(2)循环工作：循环执行信息采集、信息处理、显示反馈的步骤，直至乐曲结束，返回设置；其中，

循环工作中的信息采集步骤，捕捉当前用户演奏虚拟古琴的场景数据，包括场景彩色图像及深度数据；

循环工作中的信息处理，方法为：