[发明专利]基于深度强化学习的贴片机贴装调度模型训练方法

说明书

本发明涉及贴装控制领域，提供一种基于深度强化学习的贴片机贴装调度模型训练方法，包括：S1：设置贴装循环方案，计算获取贴装循环方案的贴装时间；S2：构建贴片机贴装调度模型，贴片机贴装调度模型包括：DQN1网络和DQN2网络；S3：获取贴装训练数据，将贴装训练数据和贴装时间输入DQN1网络进行循环计算，计算结束后获得取料方案；S4：将取料方案和贴装时间输入DQN2网络进行循环计算，计算结束后获得训练好的贴片机贴装调度模型。本发明构建的两阶段训练模型，所求解的取料方案和贴装方案相比实际生产使用的贪心算法更精确，也即新方案的贴装耗时更少；两阶段训练模型可以在复杂动态环境下，不需要重新训练，直接生成比较优的取料和贴装方案。

技术领域

本发明涉及贴装控制领域，尤其涉及一种基于深度强化学习的贴片机贴装调度模型训练方法。

背景技术

表面贴装技术(Surface mounted technology,SMT)在印刷电路板的制造中起着关键作用，且应用越来越广泛，其中，表面贴装调度优化是SMT的关键核心技术。目前，贴片机贴装调度优化一般分为两个子问题处理：一个是吸嘴和喂料器的分配问题，另一个是元件贴装顺序优化问题。

针对贴装调度优化问题，学者较多使用线性规划方法、启发式优化算法和基于种群的随机优化算法，这些算法在一定程度上解决了贴片机贴装效率优化问题，但这些方法大都属于离线调度优化方法，更适合于相对稳定的环境。这些方法并未考虑到实际生产环境的动态性和多样性，难以进行在线优化。

另外，在贴片机的实际生产过程中，不可避免地会受到振动、噪声等环境因素、生产计划调整等影响，导致设备各零部件之间相对位置的变化，进而影响设备生产进度及正常运转，导致以前的优化方案并不适用，需要重新或者重头优化。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于，解决现有技术中，未考虑到实际生产环境的动态性和多样性，难以进行在线优化的技术问题。

为实现上述目的，本发明提供一种基于深度强化学习的贴片机贴装调度模型训练方法，包括：

S1：设置贴装循环方案，计算获取所述贴装循环方案的贴装时间；

S2：构建贴片机贴装调度模型，所述贴片机贴装调度模型包括：DQN1网络和DQN2网络；

S3：获取贴装训练数据，将所述贴装训练数据和所述贴装时间输入所述DQN1网络进行循环计算，计算结束后获得取料方案；

S4：将所述取料方案和所述贴装时间输入所述DQN2网络进行循环计算，计算结束后获得训练好的贴片机贴装调度模型。

优选地，所述贴装时间包括：取料运动用时t_pick、识别用时t_recong、贴装运动用时t_place、返回喂料器用时t_return和取料贴料用时t_nozzle；

所述取料运动用时t_pick的表达式如公式一所示：

其中，cycle_num表示贴装循环次数；v_x表示x轴电机的移动速度；i表示取料次数；dis_i,i-1表示第i次取料和第i-1次取料时，贴装头所在位置的相对距离；

所述识别用时t_recong的表达式如公式二所示：

t_recong＝max(dis_x/v_x,dis_y/v_y)+recong(cycle_num)