[发明专利]一种以动作方向变化控制音符播放的方法

说明书

技术领域

本发明属于人机交互领域，具体涉及一种动作方向变化控制音符播放的方法。

背景技术

目前在中国对孩子的教育方面，还是过于偏重分数的应试教育。音乐教育，尤其是音乐合奏教育对于解决独生子女协作能力缺失、成年后难以融入社会生活的问题有重要意义。音乐合奏教育有助于儿童协作意识、情感的发展，有助于培养规则意识。

目前在儿童协同音乐交互方面已有一些研究工作，如Mogclass是一个在联网移动设备上的合作演奏音乐环境(参考文献：Zhou，Y.S.，Percival.G.，Wang，X.X，Wang，Y.，and Zhao，S.D.MOGCLASS：evaluation of a collaborative system of mobile devices for classroom music education of young children.CHI，(2011)，523-532.)。Symphony-Q支持孩子们通过在交互桌面上摆放正确的乐器图标来协同演奏对应乐器的音乐(Kusunoki，F.，Sugimoto，M.，and Hashizume，H.Symphony-Q：a support system for learning music through collaboration.CSCL，(2002)，491-492.)。器乐合奏要求儿童至少掌握一种乐器的演奏技巧，具有较高的音乐乐理知识，但是由于作为一种较专业的音乐形式，合奏对儿童的音乐要求较高，所以目前很少有研究关注如何帮助孩子们享受协作合奏音乐的过程。

发明内容

本发明的目的在于，提供一种通过手部摆动方向变化控制音符播放的方法，将儿童手部往返挥动的动作对应为乐曲音符的播放命令。每个单方向的运动过程中，持续播放某个音符，直到反方向挥动时，再开始播放下一个音符，适合儿童以比较自然的方式来控制演奏的节奏。

本发明包括以下关键方法：

1)本发明提供一种肢体摆动角度序列的拐点检测方法；

2)本发明还提供一种挥动动作与音符的对应激活方法；

肢体往复摆动，可以映射为肢体绕某个轴或者某个点往复转动，通过不同的技术手段可以获得肢体转动的角度。方法1)是在运动过程中，从实时获得的一连串角度数据中找到变化趋势发生改变的临界点(拐点)；方法2)是在找到拐点的时刻，同时结束当前音符的播放并开始下一个音符，将改变挥动方向与切换播放音符严格对应起来。

本发明的一种以动作方向变化控制音符播放的方法，其步骤包括；

1)将待播放的音符转换为midi输出参数，在程序里将整个音符序列存储为一系列整数数组，每一个音符对应一组整数，每一组整数有其对应的下标，对应着音符的序列，下标依次排序，下标每增加1就意味着音符前进一个；定义某一数组位置为初始播放位置；

2)按照设定的时间间隔接收定位于人体的传感器的输出，识别人体动作；

3)在检测第一个动作方向拐点时，播放当前播放位置对应的音符；

4)在检测下一个动作方向拐点时，停止播放当前音符并播放下一个音符。

在上述方法中，需先将待播放乐曲音符转换为可为电脑识别并播放的midi输出参数，然后内置在程序头文件里。所述传感器通过无线方式与电脑连接。

进一步的，上述方法通过激活自定义的消息来停止或播放音符，在消息响应里，通过设定的输出参数控制电脑来播放、停止声音，声音的通道数，音高和音量。

进一步的，根据所述传感器绕竖直方向转动的角度(航向角)识别人体动作。根据当前航向角currentYaw是否大于上一时刻航向角yawPre来检测动作方向拐点；若检测到动作方向拐点时，当前播放位置指向数组的最后一位，则结束当前位置的音符播放，返回数组的第一位对应的音符继续播放。

具体来讲，若当前时刻动作变化趋势flag异于上一时刻动作变化趋势flagPre，则判定当前时刻出现动作方向拐点，其中，flagPre为布尔类型，当前航向角currentYaw大于上一时刻航向角yawPre时，flagPre为真。为了保证边际跳动数据对航向角产生的漂移现象，本发明还提供一种跳动过滤算法，在当前航向角与上一时刻航向角的差值大于设定的阈值时才进行动作方向拐点的检测。