[发明专利]基于图像分割及表面肌电信号的机器人示教系统及方法

说明书

本发明涉及基于图像分割及表面肌电信号的机器人示教系统及方法，包括RGB‑D相机、表面肌电信号传感器、机器人和计算机，RGB‑D相机采集机器人的示教场景视频信息并发送至所述计算机，表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，计算机从视频信息中识别出机器人关节臂和人体关节并检测出二者的接触部位，计算机还计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后发出信号控制机器人被接触关节臂按照该施力大小和施力方向运动，实现拖动示教。本发明示教系统，整体结构简单、易部署且成本低，同时示教方法简单易操作，对力的检测响应速度快，能够准确控制机器人执行示教动作。

技术领域

本发明涉及基于图像分割及表面肌电信号的机器人示教系统及方法，属于机器人、智能制造领域。

背景技术

在传统的工业机器人本体(以下简称：机器人)示教系统中采用示教器示教和拖动示教两种方式。其中，采用拖动示教的机器人通常在末端设置一个六维力传感器，因此，机器人不仅仅可以获取示教过程中的轨迹信息，还可以获取在演示过程中的交互力信息。此种方法虽然比较容易实现机器人示教，然而基于末端力检测方式的力控制响应慢，并且六维力传感器价格昂贵，实现成本较高。现有的另一种方案是：在机器人关节中，在减速器输出端配置力矩传感器和双编码器，组成柔性关节或线弹性驱动器。这种方法虽然有利于进行基于动力学的位置控制，实现力的控制，但是在关节处配置力矩传感器会增加关节结构的复杂度，且会降低关节传动链的刚度。

发明内容

为了解决上述技术问题，本发明提供一种基于图像分割及表面肌电信号的机器人示教系统，通过深度学习网络进行图像分割，分割并识别出机器人关节臂及人体各关节，然后判断人体关节与机器人关节臂之间的接触情况，利用表面肌电信号传感器识别人体力量大小及施力的方向，进而控制机器人各关节臂运动，实现拖动示教。

本发明技术方案一如下：

基于图像分割及表面肌电信号的机器人示教系统，包括RGB-D相机、表面肌电信号传感器、机器人和计算机，所述RGB-D相机、表面肌电信号传感器以及机器人均与所述计算机通信连接，所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机从所述视频信息中识别出机器人关节臂和人体关节并检测出人体关节与机器人关节臂的接触部位，所述计算机根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。

更优地，所述计算机内运行有机器人关节臂分割模块、人体关节分割模块和距离检测模块；所述机器人关节臂分割模块通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；所述人体关节分割模块识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；所述距离检测模块检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。