[发明专利]基于图像分割及表面肌电信号的机器人示教系统及方法

权利要求书

1.基于图像分割及表面肌电信号的机器人示教系统，其特征在于：包括RGB-D相机、表面肌电信号传感器、机器人和计算机，所述RGB-D相机、表面肌电信号传感器以及机器人均与所述计算机通信连接，所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机从所述视频信息中识别出机器人关节臂和人体关节并检测出人体关节与机器人关节臂的接触部位，所述计算机根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后计算机发出信号控制被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。

2.根据权利要求1所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内运行有机器人关节臂分割模块、人体关节分割模块和距离检测模块；

所述机器人关节臂分割模块通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；

所述人体关节分割模块识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；

所述距离检测模块检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。

3.根据权利要求2所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内还运行有表面肌电信号检测模块和机器人通信控制模块；

所述表面肌电信号检测模块接收到信号检测指令后，根据接收到的表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块；

所述机器人通信控制模块接收来自表面肌电信号检测模块发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人的运动参数；所述机器人通信控制模块接收到碰撞信号控制机器人立即停止运动，待碰撞信号取消后再继续控制机器人运行。

4.根据权利要求3所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述距离检测模块具体执行如下步骤：

S31、将所述机器人关节臂分割模块分割出的机器人各关节臂的深度图像及所述人体关节分割模块分割出的人体各关节的深度图像转换为点云；

S32、对机器人不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；

S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S4；

S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块，控制机器人暂停运行。