[发明专利]基于感知增强和场景迁移的深度强化学习机器人抓取方法

说明书

本发明公开了一种基于感知增强和场景迁移的深度强化学习机器人抓取方法，主要涉及智能机器人领域；包括步骤：S11、通过RGB‑D相机获取场景信息作为状态；S12、提取特征；S13、通过感知增强模块对抓取对象特征增强；S14、变换得到动作空间Q表，执行Q值最大的动作；S15、判定是否抓取成功，并进行模型更新；S21、通过RGB‑D相机获取场景信息作为状态；S22、将真实抓取场景变换成仿真风格的场景；S23、载入仿真环境训练好的模型；S24、提取特征；S25、通过感知增强模块对抓取对象特征增强；S26、变换得到动作空间Q表，执行Q值最大的动作；本发明能够促进抓取性能的提升，能够节省训练成本。

技术领域

本发明涉及智能机器人领域，具体是基于感知增强和场景迁移的深度强化学习机器人抓取方法。

背景技术

机器人抓取技术就是借助机械臂和夹爪将目标对象抓取起来，它是许多机器人任务的基础，是很多操作的前提环节。许多工业场景中都离不开抓取，比如在码垛中需要先将对象抓取起来才能进行堆放，在分拣中需要先将对象抓取起来才能进行分类放置，在装配中需要先将零件抓取起来才能进行组装。

目前，工业上应用的比较多的机器人抓取算法是通过模板匹配的方法，具体流程是首先对要抓取的对象建立CAD模型，将所有的CAD模型保存起来形成模板数据库，然后扫描抓取环境得到场景点云数据，使用模板在场景点云中通过特征信息进行匹配，得到抓取对象的位姿，这种方法多用于目标物体单一的情况，如果要抓取的对象种类繁多，将难以保证模板匹配准确性。面对非结构化环境的复杂性，人工智能技术的发展为机器人抓取提供新思路，基于深度学习的机器人抓取技术主要是标注一些带有正确位姿标签的数据，通过深度学习网络进行有监督训练，这种方法需要标注大量训练数据集，耗费人力物力，且在测试过程中对于训练集中未曾见过的物体抓取效果不是很好，也就是说模型泛化能力不好。

发明内容

本发明的目的在于解决现有技术中存在的问题，提供基于感知增强和场景迁移的深度强化学习机器人抓取方法，深度强化学习是一种自监督的学习方法，无需去人工准备训练数据集，该方法让机器人去自主去探索抓取，如果抓取成功便给予奖励，否则便给予惩罚，通过不断试错，使得机器人能够自主掌握抓取能力。

本发明为实现上述目的，通过以下技术方案实现：

基于感知增强和场景迁移的深度强化学习机器人抓取方法，首先进行仿真环境训练，获得算法模型，然后再进行真实环境应用；

所述仿真环境训练包括步骤：

S11、通过RGB-D相机获取场景信息作为状态；

S12、通过DenseNet提取特征；

S13、通过感知增强模块对抓取对象特征增强；

S14、变换得到动作空间Q表，执行Q值最大的动作；

S15、判定是否抓取成功，如果抓取成功则给予奖励，否则给予惩罚，并进行模型更新；

所述真实环境应用包括步骤：

S21、通过RGB-D相机获取场景信息作为状态；

S22、通过场景迁移模块，将真实抓取场景变换成仿真风格的场景；

S23、载入仿真环境训练好的模型；

S24、通过DenseNet提取特征；

S25、通过感知增强模块对抓取对象特征增强；

S26、变换得到动作空间Q表，执行Q值最大的动作。

优选的，所述步骤S11和S21中，将通过RGB-D相机拍摄的RGB-D图像进行正交变换并根据工作区域得到224×224尺寸的RGB-D俯视图像，以此作为状态输送给算法模型。