[发明专利]一种基于计算机视觉和深度学习的平面抓取检测方法

权利要求书

1.一种基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，包括：

步骤1：收集或自制抓取数据集，其中包括RGB图像及相应的标注信息，及深度信息；对数据集进行尺度变换、平移、翻转和旋转的数据增强，扩充数据集；

步骤2：根据步骤1得到的扩充后的数据集制作并划分训练数据；利用深度补全算法补全深度图信息，并完成RGB图像与深度信息的融合；对融合图像进行裁剪及缩放，使其满足抓取框的输入格式，并按照9∶1的比例随机划分训练集与验证集，分别用于抓取检测模型的训练和验证；

步骤3：利用训练数据对提出的抓取检测模型进行训练，采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；同时利用验证集对抓取检测模型进行测试，来调整抓取检测模型训练过程中的学习率，并一定程度避免抓取检测模型的过拟合；其中目标函数的定义为：

L_total＝L_boxes+L_Q+L_angle

其中L_boxes为boxes损失、L_Q抓取质量分数损失、L_angle角度预测损失；

步骤4：根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为抓取检测模型输出，通过排序选取最优并将其转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标。

2.根据权利要求1所述基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，所述五维抓取表示，在近年的相关工作中得到了广泛的应用；五维抓取表示为把抓取框描述为：

g＝{x，y，，θ，h，w}

所述抓取检测模型输出为：

g＝{x，y，θ，h，w，Q}

其中(x，y)为抓取框的中心点，h和w分别为抓取框的高和宽，θ为其相对于图像水平轴的方向，Q为抓取质量分数，用0到1之间的一个数值来评估抓取的可能性，Q越大表示该抓取框的可行性越大。

3.根据权利要求1所述基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，所述抓取检测模型(网络模型)设计包括前端的特征提取器和后端的抓取预测器；其中特征提取器部分设计包括卷积模块、注意力残差模块和跨级局部模块等模块连接组合。

4.根据权利要求1所述基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，所述完成RGB图像与深度信息的融合包含了深度信息提取、深度图补全以及RGB图像与补全后的深度图融合为RGD图像，其中RGD图像将作为模型训练数据。

5.根据权利要求1所述基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，所述完成RGB图像与深度信息的融合，对RGB数据进行训练的方式包括单模态训练方式和多模态训练方式；其中RGD数据使用Depth图像替换RGB图像中的B通道融合而成，这一设计实现了多模态，提供了更多的可利用信息，并在实验中展示了良好的效果；针对数据集中深度信息提取，设计了如下公式：

其中(x，y，z)为点云信息中的坐标，Max为根据场景设定的深度值上限，Min为根据场景设定的深度值下限，限定阈值范围的设计可以从一定程度上过滤无效信息，此外可以实现全局的归一化，并非针对单一图像进行归一化，使得数据更加标准化；归一化后的值扩大255倍，调整至RGB通道值的尺度，使其满足RGD融合的条件。

6.根据权利要求1所述基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，所述利用验证集对抓取检测模型进行测试，将深度图像与RGB实现通道替换，随后将每张图片进行数据扩增，扩增策略：随机上下平移0-50像素，随机旋转0-360°；最终沿中心截取固定大小正方形区域作为训练图像；利用卷积模块和卷积操作进行了抓取框的预测。其中抓取框位置及大小信息进行了直接的回归；抓取质量分数同样利用直接回归的方式，但是在最终输出时进行了sigmoid，将预测得到的抓取质量分数输出范围控制在0-1之间，可以很好的表示抓取置信度；角度则是通过分类的方式进行预测。