[发明专利]一种基于相机与肌电信号的假肢手控制系统及方法

权利要求书

1.一种基于相机与肌电信号的假肢手控制装置，其特征在于，包括假肢手、CMOS图像传感器、显示器、语音识别模块、肌电信号采集模块、控制器；其中假肢手具有触觉感知能力，CMOS图像传感器用于获取假肢手环境图像，显示器用于显示假肢手的运动状态和接触力分布，语音识别模块用于语音控制假肢手的复位与急停，肌电信号采集模块用于采集用户残臂的肌电信号，控制器根据假肢手环境图像获得物体信息及手物空间关系，并根据物体信息产生对应的假肢手动作原语组合、根据手物距离实现动作原语的切换以及融合肌电信号实现所述假肢手的比例控制。

2.根据权利要求1所述的基于相机与肌电信号的假肢手控制装置，其特征在于，所述控制器主要由四个微处理器组成：两个Arduino模块；一个STM32模块；一个Jetson模块；其中，两个Arduino模块分别用于处理肌电信号与语音信号，并将处理完成的信息分别通过串口通信反馈至所述STM32模块与所述Jetson模块；所述STM32模块用于管理所述假肢手运动时序控制，并将控制时序指令通过蓝牙发送至所述假肢手的MCU上，并采集所述假肢手的触觉信息；所述Jetson模块用于将所述CMOS图像传感器的视觉信息进行语义分割与卷积计算获得物体信息，并通过HDMI向所述显示屏传输视频信息，所述STM32模块与所述Jetson模块通过串口交互数据。

3.根据权利要求1所述的基于相机与肌电信号的假肢手控制装置，其特征在于，所述CMOS图像传感器为头戴式。

4.一种基于相机与肌电信号的假肢手控制方法，其特征在于，该方法包括：通过绑定物体分类与动作原语类型，采用视觉获得的物体信息触发相应的动作原语类型，并引入假肢手与物体的空间系进行动作原语类型的切换；在物品抓取过程中采用具有主动修正控制模型能力的人在环控制器方法、并结合肌电信号实现对假肢手的控制。

5.根据权利要求4所述的基于相机与肌电信号的假肢手控制方法，其特征在于，所述方法包括：

第一步，针对人手日常的高频抓取动作，根据物品类别的形状差异及人类对不同类别物体的抓取特征，构建动作原语库；

第二步，通过所述CMOS图像传感器获取工作空间内的物体图像信息，进行语义分割和物体识别，获得物体分类；

第三步，根据所获得的物体信息，在动作原语库中选择相应动作原语；

第四步，根据物体信息与残肢运动状态，进行动作原语切换。

6.根据权利要求4所述的基于相机与肌电信号的假肢手控制方法，其特征在于，在任务开始阶段，初始动作原语为自由原语；

在物体识别阶段，在完成目标识别后，根据识别的物体信息所述假肢手形成预手型；倘若目标丢失，则认定为用户放弃抓取，所述假肢手恢复所述自由原语；

在抓取准备阶段，所述CMOS图像传感器实时返回所述假肢手与物体间的空间关系，当手物空间距离小于阈值，则认定手物接触，进入抓取原语阶段，当手物空间距离大于阈值，则认定手物分离，返回预手型阶段，当用户改变自身视域则恢复初始自由原语；

在抓取阶段，所述假肢手由肌电信号与视觉返回的物体信息进行多模态的比例控制，由人在环控制器实现；

在抓取完成后，返回预手型阶段或通过语音指令复位。