[发明专利]面向钢琴弹奏的惯性手套多模态特征提取方法

说明书

本发明公开了一种面向钢琴弹奏的惯性手套多模态特征提取方法，属于惯性技术领域。本发明通过惯性手套采集钢琴弹奏的手部动作，并基于惯性传感器时域统计特性、手部姿态关联性、多手指空间关联性对钢琴弹奏的手指多模态特征进行提取。在本发明中，惯性传感器时域统计特性指采集加速度、角速度以及姿态角的标准差/极差以及在按键前后的差值，手部姿态关联性是指手指上下关节以及手指与手背之间的姿态关系，多手指空间关联性是指手指之间的姿态角、加速度和角速度的相对关系。采用本发明提出的方法，可以对钢琴弹奏时手指动作特性进行更为准确的描述。

技术领域

本发明涉及一种面向钢琴弹奏的惯性手套多模态特征提取方法,属于惯性技术领域。

背景技术

钢琴教育是一项专业性强、学习周期长的教学活动。传统的钢琴教学基于教师与学生的一对一教学，时间及经济成本较高，传统的钢琴教学方式需要教师与学生面对面教学，且教师不能对学生的手型进行全时段的关注，无法实时进行手部的动作反馈。

学生通过惯性手套，对手部弹奏数据进行采集与辨识，可以进行自主练习。通过数据手套采集的数据，教师可以通过对学生的弹奏数据进行分析，对学生练习情况进行全面掌握，并对学生进行反馈。目前惯性手套主要应用于普通固定手势识别、手语识别以及康复医疗手势识别等方面，其特征提取通常采取时间或空间的单模态信息或采用原始传感器数据作为手势特征，这种方法常用于进行静态手势的识别。钢琴弹奏手势具有快速性、大动态以及强时变性的特点，因此传统的特征提取方法不适用于钢琴弹奏手势特征的提取。

惯性手套实时感知手部的运动变化信息，传达出时间维度信息。钢琴弹奏手势复杂多样，且具有较大的动态，采用单一特征参数难以表征手部的弹奏特性。

发明内容

本发明提出了一种面向钢琴弹奏的惯性手套多模态特征提取方法，通过提取的多模态数据特征对钢琴弹奏时手指动作进行特征提取，解决传统特征提取方法无法对钢琴弹奏手势进行准确描述的问题。

本发明为解决其技术问题采用如下技术方案：

一种面向钢琴弹奏的惯性手套多模态数据特征提取方法，包括如下步骤：

步骤一：数据采集，采用一对惯性手套，分别安装于左右手的手背以及手指关节处，周期性的读取k时刻每个惯性传感器的信息，包括k时刻的三轴加速度信息及三轴角速度信息；

步骤二：姿态解算，运用互补滤波算法，分别计算k时刻双手手背以及手指各关节的20个惯性传感器俯仰角和横滚角；

步骤三：获取按键标志符，实时采集按键信息，外部装备在琴键按下的时刻输出数据，通过外部装置，判断当前时刻是否有键按下，输出格式为key＝0或1，key＝1表示当前时刻有琴键按下，key＝0表示当前时刻没有按键按下；

步骤四：截取有效活动段数据，采用固定长度为15的滑动窗口进行数据的截取；

步骤五：对有效活动段据进行多模态特征提取。

步骤一所述惯性手套包含了二十个惯性传感器，每个惯性传感器包含三只陀螺仪与三只加速度计。

步骤二的具体过程如下：

1)计算标准重力加速度在载体系x轴、y轴和z轴上的分量：

其中，v_x(k)，v_y(k)，v_z(k)分别为k时刻标准重力加速度在载体系x轴、y轴和z轴上的分量，q₀(k-1)、q₁(k-1)、q₂(k-1)、q₃(k-1)分别为k-1时刻的姿态四元数；

2)计算加速度的模：