[发明专利]一种基于引导式DQN控制的机械臂控制方法

说明书

本发明公开了一种基于引导式DQN控制的机械臂控制方法，包括以下步骤：对机械臂控制策略进行马尔科夫建模，1)建立感知环境模型、2)机械臂动作空间设计、3)建立状态模型、4)回报函数设计、5)数据增强方法、6)引导式DQN策略设计和7)机械臂控制程序结构的设计；本发明设计的基于引导式DQN控制的机械臂控制方法能实现深层次的探索，改进了原始DQN的随机采样策略导致的不稳定性，具有较好的性能，提高机械臂抓取物体的成功率。

技术领域

本发明涉及机器人控制技术领域，具体涉及一种基于引导式DQN控制的机械臂控制方法。

背景技术

众所周知，智能机器人是当前和今后的研究热点。随着对机器人技术研究的不断加深，人们逐渐意识到，机器人技术的本质是感知、决策、行动和交互技术的结合。在研发智能机器人的过程中，人们已经掌握了一些关键性的技术，如多传感器信息处理技术，路径规划技术，导航与定位技术，智能控制以及人机接口技术等。

但是，随着人工智能技术的发展，传统智能机器人控制理论存在的不足之处逐渐显现，比如无法精确解析建模的物理对象、无法解决信息不足的病态过程等。实现制造业的自动化必定离不开机器人手臂。传统机器人手臂控制主要是基于单片机、传感器或嵌入式等。对传统机器人手臂进行改造，在传统机器人手臂的基础上加人传感器，使机械手臂其有外部感知功能，类似于人的某种外部功能，其灵活性得到有效提高，但是传感器获得的信息往往与环境误差很大。

近年来，深度强化学习迅速成为人工智能领域的重要前沿阵地，基于深度强化学习的算法己经在各个领域取得了突破性进展，尤其是在智能机器人控制领域。深度强化学习可以很好的与周围环境交互，并且不断从以前的经验进行学习，这就克服了机器人手臂不能很好学习的问题。深度学习把从原始输人数据中提取高层特征变成现实，虽然在感知为一面表现十分优秀，但是在决策为一面不尽人意。与此相反，强化学习在决策为一面表现出众，却在感知为一面并无突出能力。所以，将深度学习与强化学习结合起来，构成深度强化学习算法，二者优势互补，就可以给解决复杂系统的感知决策问题提供有效的方法。深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输人的图像进行控制，是一种更接近人类思维为方式的人工智能方法。

结合了卷积神经网络和传统强化学习中的Q学习算法的DQN算法是深度强化领域的开创性工作，它解决了传统智能机器人行为决策时无法感知环境的问题。因此如何在真实环境下利用DQN及其改进算法使机器人直接根据高维感知输入学习到最优策略非常重要。基于引导式DQN机械臂控制策略算法，采用自助抽样的方式，利用多个分流网络来随机化值函数，临时扩展对状态空间的探索范围，实现深层探索。通过这种分布式的深度探索方法，充分保证了智能体对不同策略的探索，产生多样化的样本，使环境的动态信息更好地泛化到位置的状态空间中。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于引导式DQN控制的机械臂控制方法。

本发明解决其技术问题所采用的技术方案是：一种基于引导式DQN控制的机械臂控制方法，包括以下步骤：

1)建立感知环境模型：通过相机实时获取机械臂所处环境的状态，从环境中获取所有用于决策的信息，决策选择的动作作为控制信号，作用于环境，同时系统感知环境模型能够实时监测环境的动态变化；

2)机械臂动作空间设计：选择利用反馈方式进行机械臂控制的方式，即指定机械臂的空间位置，然后反馈给机械臂系统，由机械臂系统自主计算每个关节点相对移动的角度；

3)建立状态模型：采用摄像机拍摄机械臂环境作为状态信息，机械臂系统对采集来的状态图像进行预处理，对于机械臂策略控制系统来说颜色信息属于冗余信息，在预处理的第一步将8位真彩图像转换成灰度图像，转换时给予不同的权重；