[发明专利]一种基于增强现实及视觉辅助的人机协作钻铆系统和方法

权利要求书

1.一种基于增强现实及视觉辅助的人机协作钻铆系统，其特征在于，包括工业机器人、钻铆执行器、操作者、增强现实设备、钻铆一体工具、深度相机以及上位机；

所述工业机器人位于空间开敞的壁板外侧，用于移动钻铆执行器至待作业孔位处；

所述钻铆执行器安装于工业机器人末端法兰，用于进行顶紧壁板、钻孔、送钉、顶铆以及复位操作；

所述操作者位于空间狭小的壁板内侧，通过佩戴增强现实设备和手持钻铆一体工具，与工业机器人及钻铆执行器进行协作钻铆；

所述增强现实设备用于操作者与上位机之间的信息指令交互；

所述钻铆一体工具用于辅助操作者与机器人及钻铆执行器进行协作钻铆；

所述深度相机用于实时采集操作者作业姿态信息；

所述上位机用于将工业机器人、钻铆执行器、操作者、增强现实设备、钻铆一体工具以及深度相机集成为整体系统。

2.根据权利要求1所述一种基于增强现实及视觉辅助的人机协作钻铆系统，其特征在于，所述钻铆一体工具由气动铆枪、机械套筒及压力传感器组成；所述气动铆枪用于进行铆接操作；所述机械套筒设在气动铆枪上，钻孔时作为顶铁使用；铆接时，能够自由伸缩辅助气动铆枪进行铆接作业；所述压力传感器设置在机械套筒的前端，用于采集操作者在作业过程中施加的顶紧力状态信息。

3.根据权利要求2所述的一种基于增强现实及视觉辅助的人机协作钻铆系统，其特征在于，所述机械套筒包括基座、伸缩杆、拉环、挡杆、锁紧块和拉紧块；所述基座通过抱箍套设在气动铆枪的两侧，所述基座内设置有导轨和滑块，所述伸缩杆与导轨通过螺栓相连接，所述滑块通过螺栓固定在基座内侧，所述伸缩杆和导轨外侧套设有弹簧一，所述伸缩杆上横向设置有挡杆，所述弹簧一在挡杆的作用下压缩，所述伸缩杆的外侧设置有限位槽，所述锁紧块的端部抵住伸缩杆的外侧，所述锁紧块的尾部上设置有卡槽，且尾部套设有弹簧二，所述锁紧块的尾端置于拉紧块上，所述拉紧块上套设有弹簧三，所述拉紧块的下端与拉环相连接；所述压力传感器通过前挡板与伸缩杆的前端通过螺栓相连接。

4.一种基于增强现实及视觉辅助的人机协作钻铆方法，其特征在于，包括以下步骤：

1）操作者根据现场实际工艺状况，评估优化钻铆孔位顺序，确定待作业孔位；操作者通过增强现实设备向上位机发送待作业孔位信息；上位机将待作业孔位信息发送至工业机器人；工业机器人根据待作业孔位信息移动钻铆执行器至待作业孔位处，并将自身到位状态信息发送给上位机；上位机将工业机器人到位状态信息转变为顶紧壁板作业指令，发送给钻铆执行器；钻铆执行器执行顶紧外侧壁板操作，并将压脚状态信息发送至上位机；

2）操作者手持钻铆一体工具，从壁板内侧顶紧壁板；钻铆一体工具将操作者的顶紧力状态信息发送给上位机；深度相机采集操作者作业姿态信息并发送至上位机；上位机对操作者作业姿态信息进行识别、对顶紧力状态信息进行判断；根据操作者作业姿态识别结果和操作者顶紧力状态，上位机向钻铆执行器发送钻铆作业指令或停止钻铆作业指令；

3）操作者使用钻铆一体工具，与钻铆执行器协作完成钻铆作业；

协作钻铆过程中，钻铆执行器将钻铆作业状态信息发送给上位机；

4）在整个人机协作钻铆过程中，上位机将工业机器人的到位状态信息，钻铆执行器的压脚状态信息、钻铆作业状态信息，以及钻铆一体工具的顶紧力状态信息，实时发送至增强现实设备；操作者可通过增强现实设备实时掌握工业机器人的到位状态，钻铆执行器的压脚状态、钻铆作业状态，以及钻铆一体工具的顶紧力状态，并可随时查阅现场的产品及工艺文件信息。

5.根据权利要求4所述一种基于增强现实及视觉辅助的人机协作钻铆方法，其特征在于，所述步骤2）操作者作业姿态识别结果包括钻铆姿态和非钻铆姿态；

当操作者姿态识别结果为钻铆姿态且操作者顶紧力状态达到钻铆要求时，上位机向钻铆执行器发送钻铆作业指令；当操作者姿态识别结果为非钻铆姿态或顶紧力状态未达到钻铆要求时，上位机向钻铆执行器发送停止钻铆作业指令。