[发明专利]基于强化学习的复杂薄壁结构物体3D打印路径规划方法

权利要求书

1.一种基于强化学习的复杂薄壁结构物体3D打印路径规划方法，其特征在于，首先建立路径规划的仿真环境，然后基于强化学习中的Q-learning算法，建立回报矩阵R，由回报矩阵R生成状态-动作矩阵Q；再通过对状态-动作矩阵Q的数据进行分析，得到打印的路径规划仿真结果；最后由仿真结果，结合实际打印机参数，完成实际打印过程；

具体步骤如下：

第一步，建立3D打印路径规划的仿真环境

根据需要打印的已知目标物体三维模型，并且目标物体三维模型被切片为K层，得到层目标物体Cⁱ，其中，i＝1,…,K；为每层的层目标物体Cⁱ建立一个离散二维空间作为其打印仿真环境Iⁱ；以层目标物体Cⁱ的左下角为坐标原点O(0,0)，从左下角向上建立离散的二维打印环境坐标系；横轴X和纵轴Y的刻度范围为(0,…,N)，模拟打印头在打印仿真环境中最小移动距离为单位1；

在打印仿真环境中，令Cⁱ上需要打印的坐标点值为1，其他非Cⁱ上的点代表不需要打印的点，值为0；模拟打印仿真过程是从打印仿真环境Iⁱ中一个值为1的点出发，按照约束条件，遍历打印仿真环境中所有值为1的点；

第二步，路径规划核心计算

(1)建立状态-动作矩阵Q

建立一个N×N的打印状态-动作矩阵Q(s,a)，状态-动作矩阵Q的行s代表打印头在目标物体上的坐标位置I_s(x_i,y_j)的状态，动作a代表从状态s打印头当前位置I_s(x_i,y_j)打印到目标物体上另一个坐标I_a(x_p,y_q)的动作；

并将状态-动作矩阵Q中的所有元素值都进行初始化为0，如公式(1)，

(2)建立打印回报矩阵R，并设置打印约束条件

建立一个N×N的R(s,a)回报矩阵，回报矩阵R的值表示当打印头从状态s选择动作a后的奖励值，将回报矩阵R中所有的元素首先初始化为-1，然后加入打印约束条件：

①减少打印头抬起次数约束：在打印仿真环境Iⁱ中，已知现在状态s打印头所在位置为点(x_i,y_j)，则考察其上下左右四临域方向的点(x_i,y_j-1)、(x_i,y_j+1)、(x_i-1,y_j)、(x_i+1,y_j)，如果有一个点的值为1，则令打印头从当前点(x_i,y_j)到值为1的邻域点的动作的回报值为R(s,a)＝1；

②减少打印头的拐弯次数：在打印仿真环境Iⁱ中，已知现在状态s打印头所在位置为点(x_i,y_j)，如果当前位置上、下相邻点(x_i,y_j-1)和(x_i,y_j+1)的和大于左、右相邻点(x_i-1,y_j)和(x_i+1,y_j)的和，则令从当前位置到上、下相邻点动作的回报值为R(s,a)＝2；如果当前位置左、右相邻点(x_i-1,y_j)和(x_i+1,y_j)的和大于上、下相邻点(x_i,y_j-1)和(x_i,y_j+1)的和，则分别令从当前位置到左、右相邻点对应的动作的回报值R(s,a)＝2；

(3)状态-动作矩阵Q迭代学习

Q-learning状态转移方程：

其中，γ为贪婪因子，0γ1，s表示当前状态，a表示当前动作，表示下一状态，表示下一动作；

状态-动作矩阵Q迭代学习过程如下：

步骤一：设置当前状态s为初始状态；根据建立的目标物体三维模型大小设置循环次数；

步骤二：在当前状态s的所有可能行为中随机选择一个行为a；

步骤三：利用行为a得到下一状态

步骤四：按照公式(2)进行计算，得到Q(s,a)的值；

步骤五：令之后回到步骤二进行循环；

(4)路径选择

在3D打印路径规划中需要对路径的完全遍历，具体步骤如下：

对状态-动作矩阵Q的数据分析，进行数据的选择：

步骤一：选择打印头的起始位置为状态s；

步骤二：利用状态-动作矩阵Q中状态s对应的最大值动作a，得到下一状态

步骤三：令重复步骤二N次，当状态s下没有大于0的对应的动作时，对状态-动作矩阵Q进行遍历找到一个大于0的值令