[发明专利]一种基于相机与肌电信号的假肢手控制系统及方法

说明书

本发明公开了一种基于相机与肌电信号的假肢手控制装置，包括假肢手、CMOS图像传感器、显示器、语音识别模块、肌电信号采集模块、控制器；其中CMOS图像传感器用于获取假肢手环境图像，显示器用于显示假肢手的运动状态和接触力分布，语音识别模块用于语音控制假肢手的复位与急停，肌电信号采集模块用于采集用户残臂的肌电信号，控制器根据所得信息实现假肢手的比例控制。本发明通过对假肢手的动作原语进行自主推理与切换，以降低用户“认知负荷”，通过肌电信号与视觉信号结合，主动修正假肢手控制模型，以提升假肢手控制质量，通过触觉压力云图投影方式，以提升用户的支配感。有效解决了肌电控制质量不佳以及患者的认知负荷问题。

技术领域

本发明属于假肢手控制领域，涉及一种机器视觉与肌电信号多模态的控制方法，特别涉及一种基于相机与肌电信号的假肢手控制系统及方法。

背景技术

目前假肢手主流的控制方式是通过采集截肢患者手臂的肌电信号来对假肢手进行控制，从而帮助截肢患者完成对日常生活中的一些常见物品的抓取和简单操作。目前仅仅采用肌电控制的方法虽能无侵入式地提取用户的肌肉信号，但是由于人类前臂肌群叠合，例如指深屈肌肌肉位于前臂的第二层肌群，且肌音信号微弱，存在肌电控制信号质量不佳的问题。

此外，目前的假肢手还存在缺少例如触觉等本体状态的反馈的能力。上述肌电控制质量不佳与缺乏反馈能力的两个问题，会进一步加重患者的“认知负荷”，导致“假肢拒绝”现象的发生。

中国专利号CN108742957B提出了一种多传感融合的假肢控制方法。该控制方法利用视觉信息进行假肢手抓取模式选择，通过肌电信号进行比例控制，虽然能实现对日常物体的抓握控制，但存在肌电控制信号质量不佳的问题。此外，其反馈性能较差，并未将假肢手的本体状态信息反馈给假肢手用户。从而降低了用户的参与感和支配感。

发明内容

为了克服目前主流假肢手存在的肌电控制质量不佳，缺乏反馈能力，以及患者的“认知负荷”的问题，本发明提供了一种基于相机与肌电信号的假肢手控制装置及方法。本发明主要通过以下两类技术手段分别克服患者的“认知负荷”的问题，与假肢手控制反馈质量的问题。即，第一个技术手段是通过头戴式相机对假肢手的动作原语实现自主推理与切换，以降低用户的“认知负荷”；第二个技术手段是通过肌电信号与视觉信号结合，主动修正假肢手控制模型，以提升假肢手控制质量，通过触觉压力云图投影方式，以提升用户的支配感。

本发明解决其技术问题所采用的技术方案是：

一种基于相机与肌电信号的假肢手控制装置，其特征在于，包括假肢手、CMOS图像传感器、显示器、语音识别模块、肌电信号采集模块、控制器；其中假肢手具有触觉感知能力，CMOS图像传感器用于获取假肢手环境图像，显示器用于显示假肢手的运动状态和接触力分布，语音识别模块用于语音控制假肢手的复位与急停，肌电信号采集模块用于采集用户残臂的肌电信号，控制器根据假肢手环境图像获得物体信息及手物空间关系，并根据物体信息产生对应的假肢手动作原语组合、根据手物距离实现动作原语的切换以及融合肌电信号实现所述假肢手的比例控制。

进一步的，所述控制器主要由四个微处理器组成：两个Arduino模块；一个STM32模块；一个Jetson模块；其中，两个Arduino模块分别用于处理肌电信号与语音信号，并将处理完成的信息分别通过串口通信反馈至所述STM32模块与所述Jetson模块；所述STM32模块用于管理所述假肢手运动时序控制，并将控制时序指令通过蓝牙发送至所述假肢手的MCU上，并采集所述假肢手的触觉信息；所述Jetson模块用于将所述CMOS图像传感器的视觉信息进行语义分割与卷积计算获得物体信息，并通过HDMI向所述显示屏传输视频信息，所述STM32模块与所述Jetson模块通过串口交互数据。

进一步的，所述CMOS图像传感器优选为头戴式。