[发明专利]冲压控制方法

权利要求书

1.冲压控制方法，其特征在于，每次冲压过程中，控制冲压头在向工件行进至稳速段起点时的速度为预设的第一速度，并控制冲压头在稳速段内以第一速度匀速行进；稳速段为预冲行程的其中一段，稳速段的终点为工进开始位，预冲行程为冲压头从其初始位置行进至工进开始位的行程，工进开始位为冲压头开始接触工件的位置，所述预设的第一速度通过以下步骤确定：

每次冲压行程结束后，检测实际的工进结束位；

计算实际的工进结束位与预设的工进结束位之间的偏差数值的绝对值p，所述偏差数值为实际的工进结束位与预设的工进结束位的距离差值；

采用Sarsa算法进行强化学习：

建立奖励矩阵

初始化Q表，将Q表全部置零；

状态S为当前p的大小；

设置期望状态S_terminal为p取整后为0；

使用∈-greedy算法在状态S下选取动作

其中，random A表示从动作集合(加大第一速度，减小第一速度)中随机选取动作A，max_AQ(S,A)表示选择使Q(S,A)值最大的动作A，

Q(S,A)为在状态S下执行动作A的动作价值函数，rand为随机数，∈为贪婪因子；

SAR步骤：在状态S下执行动作A，改变第一速度，进入下一状态S'，查阅奖励矩阵reward得到奖励R；更新Q表中状态S和动作A对应的Q(S,A)，跳转至SA步骤；

更新规则为Q(S,A)＝Q(S,A)+α(R+γQ(S',A')-Q(S,A))，

其中，R+γQ(S',A')-Q(S,A)为TD误差，α为学习率，γ为衰减因子；

SA步骤：使用∈-greedy算法在状态S'下选取动作A'；

将状态S'赋值给状态S，将状态A'赋值给状态A，回到SAR步骤；

直到状态S＝S_terminal时，保持当前第一速度不变。