[发明专利]基于蓄水池采样和双经验池的机械臂智能控制系统

说明书

本发明公开了一种基于蓄水池采样和双经验池的机械臂智能控制系统，结合强化学习和深度神经网络来控制机械臂，包括如下模块：(1)环境信息采集模块；(2)仿真环境生成模块；(3)深度神经网络模块；(4)双经验池模块；(5)样本管理模块。本发明通过不断迭代优化深度神经网络模块，训练机械臂的控制模型，然后将训练好的控制模型放入到实体机械臂中，有效提高了机械臂的工作效率，使机械臂在环境不同但任务相似的应用场景中可以快速适应学习。经验池的使用提高了样本利用率，通过重复使用样本进行训练减少机械臂的磨损，节约成本。同时蓄水池采样方法可以保留稀有样本，防止训练模型过拟合而使机械臂遗忘从稀有样本学习到的知识，提高泛化性。

技术领域

本发明属于人工智能和工业机器人领域，具体涉及到多种需要用到机械臂的应用场景中，利用深度策略性梯度策略模型的深度强化学习方法在具有各种任务的环境中进行机械臂自动控制策略的生成。

背景技术

目前，在许多应用场景中机械臂凭借其操作灵活性应用广泛，如工业制造、医学治疗、服务行业、军事、半导体制造以及太空探索等领域。机械臂的使用大大解放了人力，但是其在使用过程中还需根据当前应用场景的需求设计机械臂来实现对其的控制，每个机械臂的设计都针对特定的场景，具有较差的泛化性。在设计机械臂时，须根据机械手抓取重量、自由度数、工作范围、运动速度及机械手的整体布局和工作条件等各种因素综合考虑，增加了机械臂的控制难度，而且对于机械臂的每个动作完成度的精度要求也很高。随着人工智能的发展，急需一种可以实现完全自主控制的智能机械臂的控制方法，更大程度的减小设计难度。通过智能控制方法可以使机械臂具有很好的泛化性能，在各个场景中使用时可以像人一样很快的自主学会抓取和运输物体，像人一样灵活智能，仅需少量的移动即可学会如何实现目标，减少了机器磨损成本，大大提高应用范围和工作效率。

发明内容

本发明要解决的技术问题是提供一种基于蓄水池采样和双经验池的机械臂智能控制系统。

为了解决上述技术问题，本发明提供了一种基于蓄水池采样和双经验池的机械臂智能控制系统，所述机械臂智能控制系统包括：

环境信息采集模块：通过机械臂所带相机采集当前环境图像信息，用于确定机械臂的状态集合动作集合及相应的奖赏集合奖赏信息表示为机械臂的训练过程中各个动作相应的奖赏值；

仿真环境生成模块：搭建虚拟环境，根据所述环境信息采集模块中获取的状态信息和动作信息搭建虚拟环境，通过仿真环境训练机械臂的控制模型，然后再将训练好的模型用于实体机械臂的控制中；

深度神经网络模块：基于深度确定性策略梯度算法，构建根据所述环境信息采集模块中获得的机械臂的状态信息输出机械臂所需执行的动作该网络模块由行动者模块和评论家模块组成，评论家和行动者模块均包括两个结构完全相同而参数不同的网络：当前网络Q和μ，目标网络Q′和μ′，即，所述网络模块由四个神经网络搭建形成；在训练开始前，随机初始化所述四个网络的参数，θ^Q、θ^Q′、θ^μ和θ^μ′；

双经验池模块：双经验池用于保存机械臂自动学习特定目标过程中产生的样本信息；样本信息存储为四元组数据(s，a，r，s′)，其中表示机械臂当前所处状态信息，将s输入到所述学习模型，通过神经网络的训练输出机械臂下一步需要执行的动作a；机械臂执行动作a后会得到一个反馈信息，即奖赏值此时机械臂移动到下一个状态这样完成了机械臂的一步训练，将所述每一步训练产生的四元组数据作为样本信息保存在经验池中，用于后续的训练；

样本管理模块：该模块用于辅助双经验池中样本的保留和采集；通过样本保留方法在经验池填充满后，决定新旧样本的交替；而样本采集方法通过采集具有信息价值高的样本用于算法训练，从而加速训练过程并保证高效的样本利用度；

其中，所述机械臂的状态集合是将机械臂相机采集的关于环境的图像信息输入到卷积神经网络经过特征提取获得；