[发明专利]基于深度强化学习的工业机器人位姿精度在线补偿方法

说明书

本发明公开了一种基于深度强化学习的工业机器人位姿精度在线补偿方法，包括以下步骤：在不同运行状态下操作机器人，获取机器人的实际位姿，将所述实际位姿与理论位姿做误差运算，作为训练集；构建深度强化学习网络模型，确定所述学习网络的输入输出层；完成所述深度强化学习网络模型的预训练，训练得到网络模型参数；利用训练好的所述深度强化学习网络模型，在线预测机器人的位姿偏差，实现闭环的实时误差补偿返回，对非系统误差进行在线补偿。该方法通过使用两个功能不同的网络共同实现机器人模型与当前环境的交互学习，动态地调整控制参数，解决了工业机器人的非系统误差位姿补偿问题。

技术领域

本发明涉及工业机器人位姿精度在线补偿技术领域，特别涉及一种基于深度强化学习的工业机器人位姿精度在线补偿方法。

背景技术

随着国内高精尖制造业向着自动化及智能化的方向发展，工业机器人因其所具有的高效率、高质量和环境适应性好等特点，在喷涂、焊接、搬运和装配等自动化生产中的应用越来越广泛，工业机器人的需求量也日益增加，实现高精密制造业的技术革新，大幅提升加工质量与生产效率，突破工业机器人的高精度定位问题是一个必须解决的难题。机器人操作精度直接影响到机器人的作业效果，尤其是在作业过程中对某些性能指标有较高要求时，同样也给提高机器人操作精度也提出了更高的要求。

现今机器人精度补偿的方法主要有两种：误差预测补偿和误差标定补偿。误差预测补偿方法生产成本较高，且机器人长时间运动会导致机械结构发生磨损，产生的误差无法避免，故在实际中应用较少。误差标定补偿主要采用对系统进行误差建模的思路，得到非系统误差的数学模型，从而实现动态误差反馈。但对于工业机器人这样的串联结构，其本身的动力学解算就十分复杂，同时再引入温度、不同姿态下载荷变化的影响，这样的误差模型必然十分庞大复杂，求解是十分困难的。同时，由于这类非系统误差在一般的工业应用环境中的影响远小于系统误差，因此目前工业环境下也并未形成比较统一的，针对非系统误差进行在线补偿的模型。此外，现有的位姿精度补偿方法无法实现在线实时机器人目标位姿的姿态补偿；离线位姿补偿虽可以同时提高机器人的绝对位置精度和姿态精度，但无法进行在线补偿。例如，专利CN107351089A公开了一种机器人运动学参数标定位姿优化选取方法，但该方法的算法收敛时间受迭代次数、需辨识参数个数及位姿点数的影响，不易收敛。专利CN108608425A公开了一种六轴工业机器人铣削加工离线编程方法，该方法需要构建复杂的一维机器人位姿优化模型，难以保证数学模型与实际机器人切削过程的相近程度，降低了实际的补偿效果上限。专利CN112450820A公开了一种位姿优化方法、移动机器人及存储介质，无法实现机器人姿态误差的预测与补偿。专利CN112536797A公开了一种工业机器人的位置与姿态误差综合补偿方法，该方法无需建立复杂的运动误差模型，同时提升工业机器人的绝对位置精度和姿态精度，但是误差预测过程的可解释性较弱，另外无法实现在不同工作应用环境下在线对非系统误差进行预测与补偿。

发明内容

为了解决上述问题，本发明提出了一种基于深度强化学习的工业机器人位姿精度在线补偿方法，不依赖于工业机器人的数学模型，而是通过使用两个功能不同的网络共同实现机器人模型与当前环境的交互学习，动态地调整控制参数，解决工业机器人的非系统误差位姿补偿问题。本发明采用以下技术方案：

一种基于深度强化学习的工业机器人位姿精度在线补偿方法，包括以下步骤：

步骤1，在不同运行状态下操作机器人，获取机器人的实际位姿，将所述实际位姿与理论位姿做误差运算，作为训练集；

步骤2，构建深度强化学习网络模型，确定所述深度强化学习网络的输入输出层；

步骤3，完成所述深度强化学习网络模型的预训练，得到网络模型参数；

步骤4，利用训练好的所述深度强化学习网络模型，在线预测机器人的位姿偏差，实现闭环的实时误差补偿返回，对非系统误差进行在线补偿。