[发明专利]一种基于视频增量学习的机器人操作系统及方法

权利要求书

1.一种基于视频增量学习的机器人操作系统，其特征在于，包括目标定位模块、增量分类模块、新类学习模块和抓取控制模块；

所述目标定位模块用于检测定位机器视野中目标的位置，构建神经网络模型，其中机器视野源自机器人系统中的摄像头视野；

所述增量分类模块与目标定位模块相连，获取目标位置，将摄像头视野中仅涉及目标的最小外接矩形区域图像提取出来；

所述新类学习模块与增量分类模块连接，用于提取新类目标的特征，当作查询特征储存在数据库中，以便查询匹配使用；

所述抓取控制模块分别于目标定位模块和增量分类模块连接，获取抓取目标的准确位置。

2.如权利要求1所述的基于视频增量学习的机器人操作系统，其特征在于：所述目标定位模块包括输入端、骨干网络和目标位置预测模块三个部分，在输入端将图像通过随机缩放、随机裁剪、随机排布的方式进行拼接，自适应锚框计算，自适应图片缩放操作后送入骨干网络，进行特征提取；将骨干网络提取的高级语义特征送入目标位置预测模块，得到一些列的目标框。

3.如权利要求1所述的基于视频增量学习的机器人操作系统，其特征在于：将目标定位模块得到的高置信度的目标框作为潜在对象的集合，将与目标框相对应的原始图像切片输入到增量分类模型中进行训练，得到识别结果；

增量分类模块包括增量分类学习模块和增量分类训练模块；增量分类学习模块包括骨干网络和注意力学习模块，用于渐进式学习新目标特征；增量分类训练模块包括骨干网络和相似度计算模块，用于学习新类和旧类之间的区分性。

4.如权利要求1所述的基于视频增量学习的机器人操作系统，其特征在于：所述新类学习模块包括增量对象检测模块，用户向摄像机实现新对象并输入类的名称，新类学习模块收集这个新对象的样本，然后进入增量对象检测模块，提取基于目标定位模块中计算出的目标框的目标所在区域的图像块，并计算其对应的ResNet-101特征，作为查询对象对应的查询特征，分类问题作为检索问题处理，根据查询特征的最近邻对查询对象进行分类。

5.如权利要求1所述的基于视频增量学习的机器人操作系统，其特征在于：所述抓取控制模块包括轨迹控制，根据目标物体的位置，将机械臂移动到目标物体上方，计算目标角度与当前角度的误差，使用反馈控制减少误差，控制机械臂下降，根据传感器信号控制下降距离；当机械臂与目标物体的距离足够小时即可命令机械臂抓起物体。

6.如权利要求2所述的基于视频增量学习的机器人操作系统，其特征在于：所述目标定位模块的输入端应用为：

（1）随机使用4张图片，通过随机缩放、随机裁剪、随机排布的方式拼接成一张图像，图像标签也通过同种方式拼接；

（2）针对所使用的MS-COCO数据集，初始设置长宽的锚框；在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，进行两者差距，再反向更新，迭代网络参数，自适应的计算锚框；

（3）以对原始图像自适应的添加最少的黑边为原则，自适应的进行图片缩放。

7.如权利要求2所述的基于视频增量学习的机器人操作系统，其特征在于：所述目标定位模块的骨干网络由串联的卷积层、批正则化层和斜率为0.1的LeakyReLU激活函数层组成；所述目标定位模块的目标位置预测模块内设置一个卷积集，卷积集的输入通道数为c，卷积集有串联的五个卷积层组组成，每个卷积层组的卷积层的卷积核大小为1×1，步长为1，padding为same，卷积层组的卷积核个数分别为{c/2，c，c/2，c，c/2}。

8.如权利要求2所述的基于视频增量学习的机器人操作系统，其特征在于：所述目标定位模块还包括后处理模块，将检测出的多个目标框精简到只包含不重复目标的目标框：

（1）目标置信度阈值，根据目标框的Objectness分数过滤边界框；

（2）非极大值抑制，对同一个图像多次检测时，只保留得分最高的边界框；

（3）损失函数，根据非极大值抑制得到的目标框信息与真实标签通过二值交叉熵计算损失函数，迭代训练整个目标定位模型。