[发明专利]包裹缺陷识别方法、装置、设备及存储介质

权利要求书

1.一种包裹缺陷识别方法，其特征在于，所述包裹缺陷识别方法包括：

获取包裹的历史分拣数据；

确定所述历史分拣数据中分拣结果为缺陷包裹的包裹检测数据和对应的包裹图像；

对所述包裹图像进行缺陷识别，并基于所述包裹检测数据对识别后的包裹图像进行标注，得到标注图像；

根据所述标注图像构建模型训练样本集，并将所述模型训练样本集输入预置Centernet模型进行包裹缺陷识别训练，得到包裹缺陷识别模型；

获取分拣流水线上的包裹视频帧，并将所述包裹视频帧输入所述包裹缺陷识别模型进行识别，得到所述包裹视频帧中每个包裹的包裹缺陷识别结果。

2.根据权利要求1所述的包裹缺陷识别方法，其特征在于，所述获取包裹的历史分拣数据包括：

获取历史包裹分拣场景中的多个包裹分拣图像，将所述包裹分拣图像输入预置包裹识别模型进行识别，输出所述包裹分拣图像中个包裹的区域范围；

根据所述包裹分拣图像中个包裹的区域范围，从所述包裹分拣图像中提取各包裹对应的包裹图像；

对所述包裹图像进行识别得到各包裹的包裹信息，并根据所述包裹信息获取包裹的历史分拣数据。

3.根据权利要求2所述的包裹缺陷识别方法，其特征在于，在所述将所述包裹分拣图像输入预置包裹识别模型进行识别，输出所述包裹分拣图像中个包裹的区域范围之前，还包括：

获取包裹分拣场景中的多个第一图像，对所述第一图像中的包裹进行标注得到标注文件，并将所述第一图像作为训练样本图像；

将所述训练样本图像输入所述ResNet-101网络，并通过所述ResNet-101网络提取所述训练样本图像的第一特征图；

将所述第一特征图输入所述RPN网络，并通过所述RPN网络生成所述第一特征图对应的预测框；

将所述第一特征图和所述预测框输入所述ROIAlign层，并通过所述ROI Align层对所述预测框和所述第一特征图进行融合，得到包含所述预测框的第二特征图；

将所述第二特征图输入所述分类网络，并通过所述分类网络生成所述第二特征图对应的预测结果；

根据所述预测结果和所述标注文件，对预置MASK R-CNN模型的参数进行调整，直至所述MASK R-CNN模型收敛，得到包裹识别模型。

4.根据权利要求1所述的包裹缺陷识别方法，其特征在于，所述对所述包裹图像进行缺陷识别，并基于所述包裹检测数据对识别后的包裹图像进行标注，得到标注图像包括：

识别所述包裹图像中的缺陷，得到所述包裹图像的缺陷区域范围；

基于所述包裹图像的缺陷区域范围，从所述包裹图像中提取对应缺陷包裹图像；

对所述缺陷包裹图像进行特征提取，得到所述缺陷包裹图像的图像特征，其中，所述图像特征包括几何特征、纹理特征以及语义特征；

根据所述图像特征，确定所述缺陷包裹图像的图像信息；

根据所述图像信息和所述包裹检测数据对所述缺陷包裹图像进行标注，得到标注后的标注图像。

5.根据权利要求1所述的包裹缺陷识别方法，其特征在于，所述获取分拣流水线上的包裹视频帧，并将所述包裹视频帧输入所述包裹缺陷识别模型进行识别，得到所述包裹视频帧中每个包裹的包裹缺陷识别结果包括：

获取分拣流水线上的包裹视频帧，并将所述包裹视频帧输入所述包裹缺陷识别模型；

通过所述包裹缺陷识别模型，得到所述包裹视频帧中各包裹的区域范围；

根据所述包裹视频帧中各包裹的区域范围，分别从所述包裹视频帧中提取各包裹对应的包裹图像；

将所述包裹图像输入所述包裹缺陷识别模型，并通过所述包裹缺陷识别模型分别对所述包裹图像进行缺陷识别，得到所述包裹视频帧中每个包裹的包裹缺陷识别结果。