[发明专利]一种基于视频增量学习的机器人操作系统及方法

说明书

本发明涉及机器人领域通用技术，特别公开了一种基于视频增量学习的机器人操作系统及方法。该机器人操作方法包括：步骤S1：构建目标定位模型，在MS‑COCO数据集上做预训练处理；步骤S2：构建增量分类模型，在ImageNet数据集上做预训练处理；步骤S3：基于新目标，增量训练已有模型；步骤S4：定位选中目标的位置，构建机械臂抓取运动轨迹。本发明基于检测‑分类的两阶段范式，其中，与一般的分类问题不同，基于视频的信息的分类任务有额外的时间信息，而且不同的目标姿态有助于建立更好的分类模块，有利于解决在昏暗等不利条件下的低分辨率识别问题。

技术领域

本发明涉及机器人领域通用技术，特别涉及一种基于视频增量学习的机器人操作系统及方法。

背景技术

在机器学习领域，增量学习致力于解决模型训练的一个普遍缺陷：灾难性遗忘(catastrophic forgetting) ，也就是说，一般的机器学习模型(尤其是基于反向传播的深度学习方法)在新任务上训练时，在旧任务上的表现通常会显著下降。而机器人抓取该项技术的实际应用场景复杂多样，因此在动态开放场景下，机器人准确识别和抓取正确的物体的关键挑战就在于应对开放环境下的不确定性和不断变化性。

为了使得机器人适应动态开放环境，本发明从增量学习的角度，使得机器人拥有渐进式学习的能力。基于增量学习的模型，有以下几个特点：1）学习新知识的同时能够保留以前学习到的大部分知识，也就是模型在旧任务和新任务上均能表现良好；2）计算能力与内存应该随着类别数的增加固定或者缓慢增长，最理想的情况是一旦完成某一任务的学习，该任务的观测样本便被全部丢弃；3）模型可以从新任务和新数据中持续学习新知识，当新任务在不同时间出现，它都是可训练的。

基于以上特点，基于增量学习的模型可以有效应对动态开放环境带来的挑战。现有的基于增量学习的技术使用静态学习场景，提取待学习物体的不同视角的静态场景照片作为学习对象，或者建立一种基于曲面的三维模型来学习新物体特征。但是，这些方法捕获到的物体特征或片面或过于全面，与真实场景中实际出现物体特征有较大的偏差。另外，现有技术中对新物体的处理方式过于复杂，无论是提供不同视角的静态图片，还是建立物体的三维模型，时间成本或计算成本过高，不利于该项技术的应用推广。

发明内容

本发明为了弥补现有技术的不足，提供了一种偏差小、精确度高的基于视频增量学习的机器人操作系统及方法。

本发明是通过如下技术方案实现的：

一种基于视频增量学习的机器人操作系统，其特征在于，包括目标定位模块、增量分类模块、新类学习模块和抓取控制模块；

所述目标定位模块用于检测定位机器视野中目标的位置，构建神经网络模型，其中机器视野源自机器人系统中的摄像头视野；

所述增量分类模块与目标定位模块相连，获取目标位置，将摄像头视野中仅涉及目标的最小外接矩形区域图像提取出来；

所述新类学习模块与增量分类模块连接，用于提取新类目标的特征，当作查询特征储存在数据库中，以便查询匹配使用；

所述抓取控制模块分别于目标定位模块和增量分类模块连接，获取抓取目标的准确位置。

本发明的更优技术方案为：

所述目标定位模块包括输入端、骨干网络和目标位置预测模块三个部分，在输入端将图像通过随机缩放、随机裁剪、随机排布的方式进行拼接，自适应锚框计算，自适应图片缩放操作后送入骨干网络，进行特征提取；将骨干网络提取的高级语义特征送入目标位置预测模块，得到一些列的目标框。

进一步优选的，所述目标定位模块的输入端应用为：

（1）随机使用4张图片，通过随机缩放、随机裁剪、随机排布的方式拼接成一张图像，图像标签也通过同种方式拼接；通过这种方式可以在随机缩放过程中增加很多小目标，大大丰富了检测数据集，增强网络的鲁棒性；