[发明专利]基于惯性手套的钢琴弹奏手势识别方法

权利要求书

1.一种基于惯性手套的钢琴弹奏手势识别方法，其特征在于，包括如下步骤：

步骤一：构建数据样本库并对数据进行预分类

钢琴弹奏者佩戴惯性手套进行各类钢琴曲的弹奏并通过外部设备监控输出琴键的按键信息，构建数据样本库；运用外部设备输出数据进行预分类，将左右手分别分为五种不同的手指弹奏类型；

步骤二：钢琴弹奏手势识别模型训练

针对步骤一将数据库分类的十类手部数据，运用核极限学习机算法分别进行分类模型的训练；

步骤三：钢琴弹奏数据采集并进行弹奏手势的识别

弹奏者佩戴惯性手套进行钢琴弹奏时，采集惯性手套的数据，包括三轴陀螺仪数据以及三轴加速度数据，并同步采集外部设备的输出数据；对采集数据进行预分类并采用训练好的分类模型进行手部弹奏动作的分类。

2.根据权利要求1所述的基于惯性手套的钢琴弹奏手势识别方法，其特征在于，步骤一构建数据库并对数据进行预分类的方法如下：

(1)数据样本库建立，采用的惯性手套包含二十个惯性传感器，佩戴惯性手套后惯性传感器分别位于左右手的手背以及手指的关节处，每个惯性传感器包含三只陀螺仪与三只加速度计，周期性的读取惯性传感器的信息，包括三轴加速度计的输出数据、三轴陀螺仪的输出数据；

(2)数据预分类，将左右手的样本数据均初步分类为五个类别：

a)根据外部设备输出的左手按下的琴键个数play_number_left将左手数据样本库X_left中采集的传感器数据初步分为单手指弹奏、二手指弹奏、三手指弹奏、四手指弹奏和五手指弹奏五个类别；

b)根据外部设备输出的右手按下的琴键个数play_number_right将右手数据样本库X_right中采集的传感器数据初步分为单手指弹奏、二手指弹奏、三手指弹奏、四手指弹奏和五手指弹奏五个类别。

3.根据权利要求2所述的基于惯性手套的钢琴弹奏手势识别方法，其特征在于，所述数据样本库建立的具体过程如下：

钢琴弹奏者佩戴惯性手套进行钢琴弹奏采集手部弹奏数据并利用外部设备监控琴键的按键信息采集按键数据，分别构建左右手的数据样本：

设X_left_j为第j个左手的样本数据，包含以下数据：

[ax_i(j)，ay_i(j)，az_i(j)，gx_i(j)，gy_i(j)，gz_i(j)，play_number_left(j)]，i＝1～10

则建立的左手的数据样本为：

X_left＝[X_left₁，X_left₂，X_left₃...X_left_N]

其中，i表示惯性传感器的编号，ax_i(j)，ay_i(j)，az_i(j)分别表示第j个左手数据样本中惯性传感器输出的x轴、y轴和z轴的加速度；gx_i(j)，gy_i(j)，gz_i(j)分别表示第j个左手数据样本中惯性传感器输出的x轴、y轴和z轴的角速度，play_number_left(j)表示第j个左手数据样本中外部设备输出的左手按下的琴键个数，为属于1-5之间的整数；N为采集的左手弹奏数据样本数，X_left₁，X_left₂，X_left₃...X_left_N分别表示采集的第1～N个左手弹奏数据样本；

设X_right_k为第k个右手的样本数据，包含以下数据：

[axr_i(k)，ayr_i(k)，azr_i(k)，gxr_i(k)，gyr_i(k)，gzr_i(k)，play_number_right(k)]，i＝11～20

则建立的右手的数据样本为：

X_right＝[X_right₁，X_right₂，X_right₃...X_right_N]

其中，i表示惯性传感器的编号，axF_i(k)，ayr_i(k)，azr_i(k)分别表示第k个右手样本中惯性传感器输出的x轴、y轴和z轴的加速度，gxr_i(k)，gyr_i(k)，gzr_i(k)分别表示第k个右手样本中惯性传感器输出的x轴、y轴和z轴的角速度，play_number_right(k)代表第k个右手样本中右手按下的琴键个数，为属于1-5之间的整数；N为采集的右手弹奏数据样本数，X_right₁，X_right₂，X_right₃...X_right_N表示分别表示采集的第1～N个右手弹奏数据样本。