[发明专利]基于语音控制与视觉识别的智能假肢手及其系统和方法

摘要

本发明公开了一种基于语音控制与视觉识别的智能假肢手及其系统和方法，属于假肢手技术领域，智能假肢手采用三自由度假肢手本体，还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块及无线充电模块，其中，深度摄像头模块用于获取图像数据；语音交互模块用于与用户进行语音交互；LED触摸屏用于用户输入操作指令及显示数据；核心处理模块实现总体的任务调度和数据处理；并公开了物联网智能假肢手系统及手势动作实现方法。本发明解了决现有主流假肢手仅依靠肌电控制、牵引控制，控制效率低、肌电信号干扰大、操作训练复杂的问题，以及语音控制功能单一、无法完成复杂手势操作、智能化低的技术问题。

主权项

1.智能假肢手，采用三自由度假肢手本体，包括手指部件、手掌部件、残臂部件、肌电信号传感器、用于供电的电源以及存储器模块，其中，手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机，用于驱动各手指各关节及手腕处的转动，其特征在于，还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块及无线充电模块，其中，/n所述深度摄像头模块设置在所述手掌部件上的手掌处，用于获取图像数据，并传送至所述核心处理模块；/n所述语音交互模块用于与用户进行语音交互，将获取的语音数据传送至所述核心处理模块，以及播放从核心处理模块获取的指定格式的语音文件；/n所述LED触摸屏设置在所述手掌部件上的手背处或残臂部件上，用于用户输入操作指令及显示数据；/n所述核心处理模块用于将所述图像数据通过图像算法进行三维比对，拼凑出手势动作的模型，进而得出每个电机各时间节点所需要转动的角度，并输出机器指令码；还用于根据所述语音数据调用所述存储器模块内的手势动作并输出机器指令码，或者新增手势动作至所述存储器模块；还用于根据用户通过LED触摸屏输入的操作指令，输出机器指令码或者输出显示数据至LED触摸屏；所述机器指令码用于控制各电机动作，以使智能假肢手做出指定的手势动作；/n所述无线充电模块用于采用无线充电方式为所述电源充电；/n所述存储器模块用于保存数据，该数据包括手势动作、各手势动作的使用情况、图像数据、语音数据；/n智能假肢手的最表层材料为导体材料。/n