[发明专利]非结构化机器人视觉检测机械零件的同步识别与定位方法

权利要求书

1.非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于包括图像采集、图像预处理、识别与定位步骤，具体包括：

A、图像采集：读取一个安装于工业机器人手臂的视觉传感器获得的包含T帧视频图像的视频序列，将视频序列中的第I帧的图像数据表示为{I(x, y)}_t^T₌₁，其中：I(x, y) 表示在t时刻捕获的第I帧中位置(x, y) 处像素的RGB颜色矢量，t ∈ {1, . . . , T }；

B、图像预处理：应用最近邻插值法将A步骤中的第I帧的图像尺寸缩小；

C、识别与定位：将B步骤预处理的图像输入机械零件卷积神经网络模型，根据机械零件卷积神经网络模型训练所学习的模型参数M，输出图像I（x，y）每帧对应的估计预测p(x, y|M)给工业机器人控制系统，实现输入图像与机械零件的位置和识别预测之间所期望的端对端对应，以便工业机器人拾取待识别零件。

2.根据权利要求1所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述B步骤中应用最近邻插值法将A步骤中的第I帧的图像尺寸缩小1 ≤ x ≤256和1 ≤ y ≤ 320。

3.根据权利要求2所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述C步骤中机械零件卷积神经网络模型架构依次包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5、卷积层6、卷积层7、全连接层1、 全连接层2、全连接层3、去卷积层1、去卷积层2、去卷积层3，所述各卷积层和各全连接层结构的构建源于VGG-16的模型架构，所述各去卷积层通过内插粗糙输出来获得密集预测。

4.根据权利要求3所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述C步骤中卷积层1、卷积层2、卷积层3、卷积层4的滤波器组的维数分别为：3×3×3×64、3×3×64×64、3×3×64×128、3×3×128×128，所述卷积层5、卷积层6、卷积层7的滤波器组的维数分别为：3×3×128×256、3×3×256×256、3×3×256×256，所述去全连接层1、全连接层2、全连接层3的滤波器组的维数分别为：7×7×256×1024、1×1×1024×1024、1×1×1024×6，所述各卷积层和全连接层都配备了称为整型线性单元ReLU(·) =max(0, ·)的非线性激活函数。

5.根据权利要求3所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述C步骤中去卷积层1、去卷积层2、去卷积层3的滤波器组的维度均固定为4×4×6×6，所述各去卷积层通过内插粗糙输出来获得密集预测是在各去卷积层中的每一个都利用双线性插值来执行2×上采样。

6.根据权利要求3、4或5所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述C步骤中模型训练是通过向机械零件卷积神经网络模型输入机械零件数据集中图像数据的每帧图像，使用输入图像 I(x, y) 的估计预测p(x, y|M) 和真实标注G(x, y)之间的损失函数来学习多级模型参数M。