[发明专利]一种基于深度强化学习的机器人抓取-抛掷方法

说明书

本发明公开一种基于深度强化学习的机器人抓取‑抛掷方法。首先利用抓取端相机获取抓取工作空间场景的图像信息，并转换为深度俯视图和彩色俯视图，接着输入到深度Q网络中，输出抓取示力图筛选得到抓取位置；然后机器人在目标抓取位置处执行抓取动作，并根据手爪闭合情况来判断物体抓取是否成功；若抓取成功则根据抓取位置提取目标物体的局部深度和彩色图像输入至抛掷网络，根据该物体对应的落点目标框，得到物体所需的抛出速度；机器人以该速度执行抛掷动作，根据物体实际落点位置，判定被抛掷体是否落入目标框的内部，以此作为抛掷动作的奖励。循环训练以上步骤得到抓取‑抛掷网络模型。本发明能够在非结构化环境下执行抓取‑抛掷任务。

技术领域

本发明涉及一种基于深度强化学习的机器人抓取-抛掷方法，属于机器人应用技术领域。

背景技术

机器人取放任务是目前人工智能与机器人领域融合最紧密的研究热点之一。传统的取放任务主要是在强结构化环境下利用人工示教的方式设计机器人的抓取和放置动作轨迹来完成点到点的物体取放任务，该方式不具有适应环境和物体变化的能力，灵活性较差。此外，传统方法取放空间必须局限于机器人工作空间内部，导致取放空间严重受限，取放效率较低。近年来，尽管基于深度学习的取放方法对于场景和物体的变化具有一定的适应能力，然而网络训练需要大量人工标定的样本数据，且取放空间仍被限制在机器人工作空间内部。针对机器人取放适应能力差和工作空间受限的问题，本发明提出了一种基于深度强化学习的机器人抓取-抛掷技术，能够在非结构化环境下执行取放任务。

深度学习的方法可以从大量的标注数据中学习和挖掘优于人工设计的特征表示，将抓取问题转化为目标检测问题，实现从图像到抓取动作的映射。但是，在面对物体种类繁多的复杂环境时，依然存在识别效果不佳、定位误差大等问题。此外，基于深度学习的机器人抓取方法依赖于大规模的标注数据，而采集、标记和建立大规模数据集会耗费大量人力和时间。因此，如何让机器人学会像人一样抓取，学习到的抓取能力具有一定的适应性，同时减少学习过程对标注数据的依赖是当前研究的热点问题。

强化学习方法通过与环境的不断交互学习最优策略，无需人工标注数据。研究者将深度学习和强化学习相结合，提出了深度强化学习算法，借助深度神经网络强大的特征提取能力，使得强化学习方法具有更强的感知能力和表达能力，可以处理高维状态空间和动作空间中的问题。目前已在自动驾驶、机器人控制等领域，并取得很多成果。

发明内容

发明目的：针对机器人取放适应能力差和工作空间受限的问题，本发明提出了一种基于深度强化学习的机器人抓取-抛掷方法，能够在非结构化环境下执行取放任务，在无需目标模型及人工标注数据集的情况下，利用自监督学习的方式使机器人获得抓取和抛掷的动作能力。在面对随机的抓取场景和新颖物体时，能够感知和分析场景，决策执行的动作类型、动作位置以及动作方向。

上述的目的通过以下技术方案实现：

一种基于深度强化学习的机器人抓取-抛掷方法，该方法包括如下步骤：

步骤S1：首先利用抓取端相机获取抓取工作空间场景的图像信息，并按照相机外参矩阵把相机采集的图像信息转换为深度俯视图和彩色俯视图；

步骤S2：将深度俯视图和彩色俯视图输入到抓取深度Q网络中，输出抓取示力图，并选取抓取示力图的最大值点作为抓取位置；

步骤S3：机器人在步骤S2目标抓取位置处执行抓取动作，并根据机器人的手爪是否闭合来判断物体抓取是否成功；

步骤S4：若抓取成功，则根据S2中选取的抓取位置提取目标物体深度俯视图和彩色俯视图输入至抛掷网络中，该网络输出所有目标框的抛出速度，给定任一目标框的索引得到机器人抛掷物体到该目标框的对应的抛出速度；

步骤S5：机器人按照步骤S4中的抛出速度执行抛掷动作；

步骤S6：根据抛掷端的相机判定被抛掷的物体是否落入目标框，如果落入目标框，设置抓取动作奖励为1，反之为0；