[发明专利]用眼动信号控制上假肢运动的控制系统和控制方法

权利要求书

1.一种用眼动信号控制上假肢运动的控制系统，其特征在于，它是由眼睛图像采集模块、眼动特征提取模块、预定义特征存储模块、特征匹配模块、指令确认模块和驱动模块组成；其中：

所述的眼睛图像采集模块由摄像头和传送装置构成，摄像头用于采集眼睛的图像，传送装置用于将图像编码并发送到眼动特征提取模块；

所述的眼动特征提取模块用于从眼睛图像中提取出眼动特征并将其发送到特征匹配模块；它包括以下单元：眨眼检测单元、眼球转动方向识别单元和特征向量存储单元；其中：眨眼检测单元用于检测眨眼事件并记录眼睛闭合的持续时间；眼球转动方向识别单元用于计算瞳孔的位移并判断眼球的转动方向；特征向量存储单元用于存储与眼睛的动作相对应的特征向量；

所述的预定义特征存储模块用于存储上假肢的动作指令和与之相对应的眼动特征；

所述的特征匹配模块用于将眼动特征提取模块提取出的眼动特征与预定义特征存储模块中的特征进行匹配，获得上假肢的动作指令，并将动作指令发送到指令确认模块；

所述的指令确认模块用于将特征匹配模块获得的动作指令交于受试者确认，如果指令无误，则将其发送到驱动模块，如果有误，则通过取消命令删除该动作指令并重新提取眼动特征；

所述的驱动模块包括驱动器和电机，当驱动器接收到指令确认模块发送来的动作指令时，便控制假肢完成相应的设定动作。

2.一种如权利要求1所述控制系统的控制方法，其特征在于，包括如下步骤：采集眼睛图像；提取眼动特征；识别动作指令；确认动作指令和完成设定动作；上述假肢控制系统和方法采用眼动信号作为控制假肢的信号源，通过提取眼睛运动的特征信息判别动作指令，控制假肢做出受试者期望的动作。

3.如权利要求2所述的控制方法，其特征在于，步骤如下：

第一步，采集眼睛图像

采用红外线摄像机摄取受试者眼睛图像，并对图像进行MPEG编码后送入计算机，此步骤需要一直进行；

步骤二，提取特征信息

在此步骤中对采集的眼睛图像进行分析，当检测到眨眼事件并且眼睛的闭合时间在0.5s到2s之间时，便开始识别眼球的转动方向，标定试验者正视前方时瞳孔的中心点，即十字交叉线的交点为原点，以十字交叉线为坐标轴建立图像坐标系；在此坐标系中，约定向右为x轴正向，向上为y轴正向，并规定x轴的角度为0度；然后利用45度线、135度线、225度线和315度线将坐标空间划分为四个区域；在识别过程中，实时计算瞳孔中心点的位移，并做判断：

当瞳孔中心点与坐标原点的距离小于2毫米时，即可认为眼球未做转动；当此距离大于2毫米时，根据位移的角度θ确定瞳孔中心点所处的区域；

当0＜＝θ＜45或315＜＝θ＜360时，即认为眼球转到了右边；

当45＜＝θ＜135时，即认为眼球转到了上边；

当135＜＝θ＜225时，即认为眼球转到了左边；

当225＜＝θ＜315时，即认为眼球转到了下边；

每检测到一次眼球的转动，就将与转动方向对应的数字写入特征向量；当特征向量元素的个数达到4或有连续2次眼睛闭合事件发生时，停止对眼球转动方向的识别，并将特征向量送入特征匹配模块400；

第三步，识别动作指令

将步骤二获得的特征向量与预先存储的与动作指令对应的特征向量进行匹配，得到控制上假肢的动作指令；

第四步，确认动作指令

将步骤三得到的动作指令送于受试者确认，同时检测眨眼事件；

约定如在2秒内检测到眼睛眨动的次数少于3次，则认为指令无误并执行动作；如在2秒内检测到连续3此眼睛眨动，则认为指令有误，删除此指令并重新提取眼动特征；

第五步，完成设定动作

此步骤由驱动模块完成，采用眼动信号控制假肢，受试者需要事先记住与上假肢的动作指令相对应的眼动顺序；控制过程中，试验者按照一定的顺序眨动眼睛和转动眼球，摄像机采集受试者的眼睛图像，送人计算机，计算机通过图像分析提取出眼动特征向量，将此特征向量与预定义特征向量相匹配，识别出受试者期望的动作指令并交于受试者确认，经确认无误后控制假肢完成相应的动作。