[发明专利]一种基于强化学习和蚁群算法的焊接方法

权利要求书

1.一种基于强化学习和蚁群算法的焊接方法，其特征在于，包括：

利用深度强化学习算法规划任意两焊缝端点间的局部焊接路径；

根据所述局部焊接路径的路径长度构建距离矩阵；

修改所述距离矩阵以改变信息素的数值，利用蚁群算法得到全局路径；

根据所述全局路径进行焊接；

其中，利用深度强化学习算法规划任意两焊缝端点间的局部焊接路径包括：

利用深度强化学习算法在预设训练回合数内对机器人进行训练，寻找最优参数θ^μ，以使所述机器人在执行任意两焊缝端点间的路径规划任务中累计回报的期望J(θ^μ)＝E_θμ[r₁+γr₂+γ²r₃+...]最大，当所述期望最大时，所述机器人执行的路径为局部焊接路径；其中γ表示折扣因子，r表示回报函数。

2.根据权利要求1所述的焊接方法，其特征在于，修改所述距离矩阵以改变信息素的数值，利用蚁群算法得到全局路径包括：

S1：将同一焊缝两个端点i,j间的距离改为d_ij＝1/∞；将当前完成焊接的焊缝的末端点i到下一有焊接方向要求的焊缝的末端点j的距离修改为d_ij＝∞；

S2：设置最大迭代次数；

S3：将蚂蚁置于焊缝端点上，所述蚂蚁按照概率函数选择下一步转移的焊缝端点；

S4：记录本次迭代的最短路径；

S5：全局更新信息素值；

重复S3-S5，直至重复次数达到所述最大迭代次数，输出所述记录中所有路径中的最短路径；其中，所述全局路径为所述最短路径。

3.根据权利要求1所述的焊接方法，其特征在于，利用深度强化学习算法规划任意两焊缝端点间的局部焊接路径之前，还包括：

初始化所述深度强化学习算法的神经网络参数。

4.一种基于强化学习和蚁群算法的焊接系统，其特征在于，包括：

局部规划模块，用于利用深度强化学习算法规划任意两焊缝端点间的局部焊接路径；

矩阵构建模块，用于根据所述局部焊接路径的路径长度构建距离矩阵；

全局规划模块，用于修改所述距离矩阵以改变信息素的数值，利用蚁群算法得到全局路径；

焊接模块，用于根据所述全局路径进行焊接；

其中，所述局部规划模块包括：

训练单元，用于利用深度强化学习算法在预设训练回合数内对机器人进行训练，寻找最优参数θ^μ，以使所述机器人在执行任意两焊缝端点间的路径规划任务中累计回报的期望J(θ^μ)＝E_θμ[r₁+γr₂+γ²r₃+...]最大，当所述期望最大时，所述机器人执行的路径为局部焊接路径；其中γ表示折扣因子，r表示回报函数。

5.根据权利要求4所述的焊接系统，其特征在于，所述全局规划模块包括：

距离设定单元，用于将同一焊缝两个端点i,j间的距离改为d_ij＝1/∞；将当前完成焊接的焊缝的末端点i到下一有焊接方向要求的焊缝的末端点j的距离修改为d_ij＝∞；

迭代设定单元，用于设置最大迭代次数；

蚁群训练单元，用于将蚂蚁置于焊缝端点上，所述蚂蚁按照概率函数选择下一步转移的焊缝端点；

记录单元，用于记录本次迭代的最短路径；

信息素更新单元，用于全局更新信息素值；

迭代单元，用于循环进行所述蚁群训练单元、所述记录单元和所述信息素更新单元，直至重复次数达到所述最大迭代次数，输出所述记录单元中所有路径中的最短路径；其中，所述全局路径为所述最短路径。

6.根据权利要求4所述的焊接系统，其特征在于，还包括：

初始化模块，用于初始化所述深度强化学习算法的神经网络参数。