[发明专利]基于专家演示和强化学习的微零件装配方法

说明书

本发明属于精密装配智能控制领域，具体涉及了一种基于专家演示和强化学习的微零件装配方法，旨在解决现有的微零件装配技能学习效率低而且实用性不强的问题。本发明包括：采集微零件a和b的图像进行零件姿态和位置调整，使零件姿态一致，零件a处于零件b正上方；获取零件间的力信息并通过微零件装配模型控制零件装配。微零件装配模型训练包括：通过专家演示数据训练状态转移模型；进行专家演示数据的数据增强；设计模糊回报函数和混合探索方法，通过增强后的数据进行预训练；预训练的模型在模糊回报函数的引导下进行自学习，获得训练好的微零件装配模型。本发明操作方便、实用性强、执行效率高，并且保证了微零件装配的效率和安全性。

技术领域

本发明属于精密装配智能控制领域，具体涉及了一种基于专家演示和强化学习的微零件装配方法。

背景技术

随着科技的快速发展，微机电系统(MEMS,Micro-Electro-Mechanical System)作为一项革命性的新技术，在电子、医学、物理和航天航空等领域得到越来越广泛的应用。而精密装配技术作为微机电系统装配的关键技术，成为近年来研究的热点。精密装配技术主要涵盖感知、测量和控制等方面，该技术的发展对于提高微机电系统的产品质量、降低产品生产周期具有非常重要的意义。尽管现有的精密装配系统能实现零件的自动装配，但是难以满足多品种小批量精密装配的应用需求。不同品种的零件结构千变万化，装配工艺千差万别。预先编写的装配程序不具有举一反三的能力，装配零件和工艺细节的差异都可能要求程序参数乃至架构的变动。开展机器人装配技能学习的研究，使机器人具备装配技能，能够大幅提高精密装配的智能性。另外，一旦机器人具备装配技能，则针对不同的装配任务不再需要预编程，这将极大的缩短开发周期。

目前精密装配系统常采用半自动装配的方式进行多品种零件的装配，相对于人工操作，在机器的辅助下半自动装配方式虽然能更好地保证装配精度，但效率偏低这一瓶颈问题限制了其大规模推广应用。因此，迫切需要赋予机器人精密装配技能学习能力，经过人工传授、自主优化改进等学习方式，让机器人学会不同零件的装配技能，满足小批量多品种自动装配的需求。

近几年，基于演示学习和强化学习的技能学习方法得到广泛关注。基于演示学习的技能学习效率高，但由于演示空间有限，且不能保证演示数据的质量，所以学习到的策略可能非全局最优的。特别是对于具有复杂接触动态的精密装配任务，基于有限次数演示学习很难获得最优装配策略[1]。基于强化学习学到的装配控制策略具有良好的性能。然而，当强化学习中的智能体直接在真实环境中进行探索学习时，大量的探索动作可能会损坏零件。而且过多的探索也会使训练成本增加。虽然通过将仿真中学习到的策略转移到真实环境可以提高学习效率，但是由于精密装配过程中接触动态比较复杂，很难保证从仿真环境中学习到的策略能够很好地应用到真实环境[2]。

以下文献是与本发明相关的技术背景资料：

[1]Ehlers D,Suomalainen M,Lundell J,and Kyrki V.Imitating humansearch strategies for assembly[C].IEEE International Conference on Roboticsand Automation.2019:7821-7827

[2]Nagele F,Halt L,Tenbrock P,and Pott A.A prototype-based skillmodel for specifying robotic assembly tasks[C].IEEE International Conferenceon Robotics and Automation,2018:558-565

发明内容

为了解决现有技术中的上述问题，即现有的微零件装配技能学习效率低而且实用性不强的问题，本发明提供了一种基于专家演示和强化学习的微零件装配方法，该方法包括：