[发明专利]一种基于强化学习的节点处钢筋智能避障排布方法

权利要求书

1.一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于，包括以下步骤：

1)根据结构设计图纸，将待检测节点处的钢筋与构件离散化表示；其中，所述钢筋包括柱内纵筋、主轴方向钢筋和次轴方向钢筋；所述构件包括预埋件、型钢和连接板；

2)根据步骤1)的离散化结果，将柱内纵筋及构件视为障碍物，使用改进的Q-learning算法进行主轴方向钢筋的智能排布；改进的Q-learning算法将每根钢筋视为可动智能体；可动智能体从每根主轴方向钢筋的起点出发，寻找主轴方向钢筋的终点；在这个过程中需要以尽可能少的步数完成；智能体所处的状态为位置三维空间坐标(x，y，z)；行为集合为{左，右，上，下，前}；设定环境给出的报酬函数为：首先判断智能体是否到达终点，若结果肯定，则给予一定的正的奖励，同时更改终止状态值为1；否则进一步判断智能体是否与障碍物碰撞，若结果肯定，则给予一定的负奖励，同时更改终止状态值为1；否则进一步判断智能体的动作方向，并根据动作及状态值的改变给予一定的奖励；步骤2)具体包括以下子步骤：

2.1)对每根主轴方向钢筋，初始化一个Q值表；

2.2)可动智能体根据行为选择策略ε-greedy选择动作；

2.3)执行动作,观察报酬和下一时刻转移到的位置,当前幕行走步数加l；

2.4)找到下一位置的行为值函数最大值，并进行迭代更新；

2.5)更新当前智能体所处状态位置；

2.6)判断当前位置是否为终点；

2.7)循环执行2.2)～2.6)，保留满足终止条件的路径作为主轴方向钢筋排布输出结果；

3)将步骤2)中主轴方向钢筋的排布结果、柱内纵筋和构件视为障碍物，使用改进的Q-learning算法进行次轴方向钢筋的智能排布；

4)将步骤2)和3)所得主轴方向钢筋和次轴方向钢筋的排布结果保存为钢筋轨迹；

5)对钢筋轨迹进行修正；

6)输出修正后的钢筋轨迹。

2.根据权利要求1所述的一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于：步骤1)中，根据原始设计图纸，将二维坐标建模为实际空间的三维坐标，并将钢筋的轨迹坐标和构件的外表面坐标离散化为以基本单位表示的若干坐标点。

3.根据权利要求2所述的一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于：离散化以钢筋最大直径为基本单位长度；对待排布钢筋的起始点及终止点坐标、柱内纵筋的全体坐标以及各构件的外表面坐标进行如下式处理：

式中，x_before表示该坐标点在次轴方向的值，y_before表示该坐标点在柱方向的值，z_before表示该坐标点在主轴方向的值，x_origin表示建模采用的原点坐标在次轴方向的值，y_origin表示建模采用的原点坐标在柱方向的值，z_origin表示建模采用的原点坐标在主轴方向的值，x_after表示离散化得到的坐标在次轴方向的值，y_after表示离散化得到的坐标在柱方向的值，z_after表示离散化得到的坐标在主轴方向的值，round函数表示四舍五入的取整机制，d为基本单位长度。

4.根据权利要求1所述的一种基于强化学习的节点处钢筋智能避障排布方法，其特征在于，步骤5)具体包括以下步骤：

5.1)对于在主轴方向的钢筋的轨迹坐标，循环如下：若轨迹某一步的z坐标值与该轨迹下一步的z坐标值相等，则从轨迹中移除该步；循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的z坐标值与该轨迹上一步的z坐标值不相等，则以该点为中心点，按照给定角度对处于轨迹内的点的位置做出相应调整；

5.2)对于步骤5.1)得到的在次轴方向的钢筋输出结果路径，循环如下：若轨迹某一步的x坐标值与该轨迹下一步的x坐标值相等，则从轨迹中移除该步；循环完成后，对于每根钢筋的轨迹坐标，再次循环如下：若轨迹某一步的x坐标值与该轨迹上一步的x坐标值不相等，则以该点为中心点，按照给定角度对处于轨迹内的点的位置做出相应调整；

5.3)根据上述得到的轨迹的点的坐标，描画出其轨迹图像，将上述钢筋轨迹保留，等待输出。