[发明专利]包裹缺陷识别方法、装置、设备及存储介质

说明书

本发明涉及图像识别领域，公开了一种包裹缺陷识别方法、装置、设备及存储介质。本方法包括：获取分拣结果为缺陷包裹的包裹检测数据和对应的包裹图像；对包裹图像进行缺陷识别，并基于包裹检测数据对识别后的包裹图像进行标注，得到标注图像；根据标注图像构建模型训练样本集，并将模型训练样本集输入预置Centernet模型进行包裹缺陷识别训练，得到包裹缺陷识别模型；将获取的分拣流水线上的包裹视频帧输入包裹缺陷识别模型进行识别，得到对应包裹缺陷识别结果。本方案通过训练得到的包裹缺陷识别模型对包裹分拣中心中的破损包裹进行识别，解决了无法充分运用视频流对破损包裹进行识别的技术问题，提高了缺陷包裹分拣效率。

技术领域

本发明涉及监控领域，尤其涉及一种包裹缺陷识别方法、装置、设备及存储介质。

背景技术

远程视频监控系统，就是通过标准电话线、网络、移动宽带及ISDN数据线或直接连接，可达到的世界任何角落，并能够控制云台/镜头、存储视频监控图像。远程传输监控系统通过普通电话线路将远方活动场景传送到观看者的电脑屏幕上，并具备当报警触发时向接收端反向拨号报警功能。现有的视频监控系统一般由监控器和监控终端两部分构成，监控器对监控对象进行拍摄并将拍摄视频传递到监控终端。

随着物流行业的迅猛发展，物流已经渗透人们平常生活的各个方面。随着电子商务的普及，越来越多的人通过网络进行商品选购。为应对越来越多的破损包裹识别需求，目前的包裹识别主要靠人工在流水线前端查看，无法通过视频流对分拣中心的破损包裹进行识别。因此充分运用视频流对破损包裹进行识别成了本领域技术人员需要面对的技术问题。

发明内容

本发明的主要目的是充分运用视频流对破损包裹进行识别，实现缺陷包裹分拣自动化，提高了缺陷包裹识别分拣效率。

本发明第一方面提供了一种包裹缺陷识别方法，包括：获取包裹的历史分拣数据；确定所述历史分拣数据中分拣结果为缺陷包裹的包裹检测数据和对应的包裹图像；对所述包裹图像进行缺陷识别，并基于所述包裹检测数据对识别后的包裹图像进行标注，得到标注图像；根据所述标注图像构建模型训练样本集，并将所述模型训练样本集输入预置Centernet模型进行包裹缺陷识别训练，得到包裹缺陷识别模型；获取分拣流水线上的包裹视频帧，并将所述包裹视频帧输入所述包裹缺陷识别模型进行识别，得到所述包裹视频帧中每个包裹的包裹缺陷识别结果。

可选地，在本发明第一方面的第一种实现方式中，所述获取包裹的历史分拣数据包括：获取历史包裹分拣场景中的多个包裹分拣图像，将所述包裹分拣图像输入预置包裹识别模型进行识别，输出所述包裹分拣图像中个包裹的区域范围；根据所述包裹分拣图像中个包裹的区域范围，从所述包裹分拣图像中提取各包裹对应的包裹图像；对所述包裹图像进行识别，得到各包裹的包裹信息，并根据所述包裹信息获取包裹的历史分拣数据。

可选地，在本发明第一方面的第二种实现方式中，在所述将所述包裹分拣图像输入预置包裹识别模型进行识别，输出所述包裹分拣图像中个包裹的区域范围之前，还包括：获取包裹分拣场景中的多个第一图像，对所述第一图像中的包裹进行标注得到标注文件，并将所述第一图像作为训练样本图像；将所述训练样本图像输入所述ResNet-101网络，并通过所述ResNet-101网络提取所述训练样本图像的第一特征图；将所述第一特征图输入所述RPN网络，并通过所述RPN网络生成所述第一特征图对应的预测框；将所述第一特征图和所述预测框输入所述ROI Align层，并通过所述ROI Align层对所述预测框和所述第一特征图进行融合，得到包含所述预测框的第二特征图；将所述第二特征图输入所述分类网络，并通过所述分类网络生成所述第二特征图对应的预测结果；根据所述预测结果和所述标注文件，对预置MASK R-CNN模型的参数进行调整，直至所述MASK R-CNN模型收敛，得到包裹识别模型。