[发明专利]一种基于深度学习的端到端的机械臂控制的方法

说明书

本发明公开了一种利用深度学习进行手臂控制的方法。该方法首先采集机械手臂的运动过程的图像，同时以一定的频率记录手臂的控制指令，利用端到端的训练方法获得用深度神经网络表达的控制器。在此基础上，深入观察发现，利用深度神经网络表达控制结构，利用端到端的训练方法可以进一步减小手臂的运动误差，在有障碍物的情况下仍然可以很好地实现避障运动。本发明方法实现灵活，很大程度上减小了训练所需样本，这对于机械臂运动这种很难获得大样本的情况具备很大的优势。

技术领域

本发明属于深度强化学习领域，尤其涉及一种端到端的运动控制方法，极大地减少了训练所需的样本数据。

背景技术

近年来，深度学习在学术界发展迅猛，尤其在模式识别方面表现不俗。在很多传统的识别任务中，识别率都获得了显著的提高。许多其他领域也尝试用深度学习来解决一些本领域的问题。

深度学习应用在控制领域的应用已经有了一些研究，尤其是与强化学习的结合，展现了其独特的优势。深度强化学习是深度学习与强化学习相结合的一个领域，它能够实现从感知到动作的端对端学习的一种全新的算法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作。深度强化学习具有使机械臂实现完全自主的学习一种甚至多种技能的潜力。

深度学习之所以发展迅速，一个很重要的因素就是大数据时代的到来，大量的数据即训练样本可以更容易的获得，这为深度学习的发展提供了重要保障。然而在控制领域，有些时候数据并不容易获得或者获得数据的代价较高。比如本文提到的机械臂的运动控制数据，这就使得深度学习的应用受到一定的局限。如何提高数据的利用率或如何采集重要样本数据成了一个关键的挑战。

网络的训练包括直接获取大量的样本数据，然后一次性训练获得参数；先获取一些样本对网络进行初始化，然后采集数据进行参数调整，本文所用的方法是后者。

发明内容

本发明所要解决的技术问题是提供基于深度学习的端到端的机械臂控制的方法，使得能提高数据的有效性和利用率。为此，本发明提供以下技术方案：

一种基于深度学习的端到端的机械臂控制的方法，包括如下步骤：

步骤一，以一定频率采集机械臂运动时的图像信息和机械臂的控制指令与状态信息；

步骤二，对于步骤一中采集的所述图像信息、控制指令与状态信息进行网络处理：

网络包括图像处理网络和控制策略网络，图像处理网络用于对原始图像进行降维,以使图像输入和机械臂的状态输入维度在一个量级上；

控制策略网络输出对机械臂执行的控制指令，初始化图像处理网络的权重，图像信息作为输入，机械臂的状态信息作为输出，训练初始化图像处理网络；初始化控制策略网络的权重，机械臂的状态信息作为输入，控制指令作为输出，训练初始化控制策略网络的网络权重；

步骤三，在有障碍物的场景中，在采集数据的阶段得到障碍物的位置信息，人工示教机械臂绕过障碍物同时到达目标位置；移动障碍物，改变障碍物的位置，重复上述操作多次，采集多条避障的轨迹；在执行轨迹的过程中记录图片和控制指令；对步骤二所获的网络进行调参训练，该过程实际上是对网络的权重进行调整优化；

步骤四，对于步骤三采集的每条避障轨迹加入一定的噪声，使机械臂能够在示教轨迹的周围进行探索，探索到一条最优路径。最优轨迹是基于一个目标函数的评价，目标函数由机械臂当前位置与目标位置的偏差以及机械臂控制指令组成。目标函数将对大的控制指令进行惩罚，对位置偏差进行惩罚。在执行最优轨迹的过程中记录图片和控制指令；

然后将采集的图片和控制指令当作训练数据，对步骤二所获得初始网络进行进一步调参训练。

在上述技术方案的基础上，本发明还可以采用一下进一步的技术方案：