[发明专利]一种基于动作捕捉的古琴体验学习系统及实现方法

权利要求书

1.一种基于动作捕捉的古琴体验学习系统，其特征在于：所述系统包括：信息采集模块，信息处理模块，反馈显示模块，

所述的信息采集模块，捕捉当前用户演奏时的场景数据，包括彩色图像及深度数据，并将采集到的图像发送到信息处理模块；

所述的信息处理模块，根据信息采集模块输入的场景数据进行处理，并将结果传至反馈显示模块，其功能包括：从采集到的场景信息中提取用户身材数据；在用户正前方区域划定符合用户身材数据的虚拟古琴区域，并计算得到虚拟古琴各琴弦的岳山及徽位所对应的空间坐标；计算用户手部位置所对应的琴弦序号，并与用户当前学习减字谱字符在系统中预存的对应琴弦序号进行比对；

所述的反馈显示模块，具有视觉反馈和音频反馈功能，视觉反馈体现在系统具有显示界面，显示内容根据信息处理结果而确定，音频反馈体现在根据信息处理结果播放对应的音调；

信息采集模块使用Kinect设备捕捉当前用户演奏时的场景数据，信息处理模块使用Kinect官方SDK识别用户的髋部、肩部、手部关节位置，计算得到用户髋部高度，肩部宽度，从而获得用户身材数据；

视觉反馈显示界面包含用户使用系统的实时场景画面、虚拟古琴三维模型、虚拟古琴平面示意图、用户手部位置在虚拟古琴上的投影、用户演奏评分和用于辅助用户演奏的指导性信息；

辅助用户演奏的指导性信息包括：当前演奏的减字谱字符及其指法解释、演奏当前减字谱字符应使用的手指、在琴弦上的弹拨或按压位置与方向提示。

2.一种基于动作捕捉的古琴体验学习系统的实现方法，其特征在于包括以下步骤：

(1)设置：提示用户选择待学习的乐曲，并根据用户选择的乐曲在预设数据库中检索其对应的辅助用户演奏的指导性信息；

(2)循环工作：循环执行信息采集、信息处理、显示反馈的步骤，直至乐曲结束，返回设置；其中，

循环工作中的信息采集步骤，实时捕捉当前用户演奏虚拟古琴的场景数据，包括场景彩色图像及深度数据；

循环工作中的信息处理，方法为：

(1)从采集到的场景信息中提取用户身材数据；

(2)在用户正前方区域划定符合用户身材数据的虚拟古琴区域，并计算得到虚拟古琴各琴弦的岳山及徽位所对应的空间坐标；

(3)计算用户手部位置所对应的琴弦序号，并与用户当前学习减字谱字符在系统中预存的对应琴弦序号进行比对；

信息采集步骤使用Kinect设备捕捉当前用户演奏时的场景数据，信息处理步骤使用Kinect官方SDK识别用户的髋部、肩部、手部关节位置，计算得到用户髋部高度，肩部宽度，从而获得用户身材数据；

所述的辅助用户演奏的指导性信息，包括当前演奏的减字谱字符及其指法解释、演奏当前减字谱字符应使用的手指、在琴弦上的弹拨或按压位置与方向提示，预先存储于数据库中；减字谱字符及对应指法解释以图片的形式储存，按照其在乐曲中的出现顺序命名。

3.根据权利要求2所述的实现方法，其特征在于，演奏当前减字谱字符应使用的手指以数字的形式进行表示，左手大拇指至无名指顺序对应整数数字1-4，右手大拇指至无名指指顺序对应整数数字6-9，按照其对应的减字谱字符在乐曲中的出现顺序存储为数组。

4.根据权利要求2所述的实现方法，其特征在于，所述的方向提示分为左手和右手，左手的方向提示用于指导演奏滑音，整数数字1代表上滑音，即从左至右按压琴弦，整数数字2代表下滑音，即从右至左按压琴弦，按照其对应的减字谱字符在乐曲中的出现顺序存储为数组；右手的方向提示用于标识演奏当前音时手指的拨弦方向，整数数字1代表由近身侧向远身侧拨弦，整数数字2代表表示由远身侧向近身侧拨弦，按照其对应的减字谱字符在乐曲中的出现顺序存储为数组。

5.根据权利要求4所述的实现方法，其特征在于，琴弦上的弹拨或按压位置包括右手演奏位置和左手演奏位置，右手演奏位置由整数数字表示，取值范围为[1,7]，分别对应1-7弦的岳山位置；左手演奏位置由具有一位小数点的float型浮点数表示，取值范围为[1,13]，分别对应与右手相同琴弦上1-13徽之间的区域；按照其对应的减字谱字符在乐曲中的出现顺序存储为数组。