[发明专利]集装箱铅封识别方法、装置、电子设备和存储介质

说明书

本发明涉及计算机视觉技术领域，提供一种集装箱铅封识别方法、装置、电子设备和存储介质。所述集装箱铅封识别方法包括步骤：采集集装箱的视频；自所述视频中抽取图像，将所述图像输入经过训练的第一卷积神经网络进行铅封识别，至少获得所述图像中铅封所在的局部图像区域作为目标图像；将所述目标图像输入经过训练的第二卷积神经网络进行铅封识别，至少获得所述铅封的类别和置信度；根据所述视频中多张图像对应的铅封的类别和置信度，进行加权计算，获得所述集装箱的铅封类别。本发明能够根据采集到的集装箱视频，准确实时地识别出集装箱的铅封类别，满足铅封识别的准确性要求和实时性要求，为集装箱的智能化管理提供准确的数据基础。

技术领域

本发明涉及计算机视觉技术领域，具体地说，涉及一种集装箱铅封识别方法、装置、电子设备和存储介质。

背景技术

在港口作业中，需要对集装箱的铅封进行检测，录入铅封信息。

目前主要依赖港口的工作人员统计集装箱的铅封信息，导致人员需求大，且人工统计的效率低、准确率差，为后续集装箱管理埋下颇多问题，亟需进行智能化改造。

然而，小目标检测是计算机视觉方面的难点。由于铅封的尺寸较小，如果采用传统的计算机视觉算法，在集装箱的摄像头画面中检测铅封会存在很多的噪声干扰，准确率无法保证；且由于目标可利用的信息少，对算法模型有很大的参数需求，实时性无法保证。

因此，目前尚无法实现对集装箱铅封的准确实时的检测。

发明内容

本发明提供一种集装箱铅封识别方法、装置、电子设备和存储介质，能够根据采集到的集装箱视频，准确实时地识别出集装箱的铅封类别，满足铅封识别的准确性要求和实时性要求，为集装箱的智能化管理提供准确的数据基础。

本发明的一个方面提供一种集装箱铅封识别方法，包括步骤：采集集装箱的视频；自所述视频中抽取图像，将所述图像输入经过训练的第一卷积神经网络进行铅封识别，至少获得所述图像中铅封所在的局部图像区域作为目标图像；将所述目标图像输入经过训练的第二卷积神经网络进行铅封识别，至少获得所述铅封的类别和置信度；根据所述视频中多张图像对应的铅封的类别和置信度，进行加权计算，获得所述集装箱的铅封类别。

在一些实施例中，所述第一卷积神经网络的训练过程中，以第一类图片为训练样本，至少以所述第一类图片中铅封所在的局部图像区域为目标输出，所述第一类图片为带有各类铅封的集装箱的图片；所述第二卷积神经网络的训练过程中，以第二类图片为训练样本，以所述第二类图片中铅封所在的局部图像区域、铅封的类别及置信度为目标输出，所述第二类图片为各类铅封的图片。

在一些实施例中，所述第二类图片自所述第一类图片中截取获得。

在一些实施例中，在加权计算中，一图像的权重随所述图像中铅封所在的局部图像区域在所述图像中的画面占比正向增长。

在一些实施例中，所述第一卷积神经网络的结构包括：相连的两组卷积模块，每组卷积模块中的每个卷积模块包括基于空洞卷积构建的特征提取层和下采样层；第一检测层，与两组所述卷积模块的后一组卷积模块连接；第二检测层，通过特征融合层，分别与两组所述卷积模块的前一组卷积模块和所述后一组卷积模块连接。

在一些实施例中，所述第一卷积神经网络的识别过程包括：通过所述前一组卷积模块，对所述图像进行预设次数的循环卷积，获得第一特征图；通过所述后一组卷积模块，对所述第一特征图进行卷积，获得第二特征图；通过所述第一检测层，对所述第二特征图进行铅封识别，获得对应铅封所在的局部图像区域的至少一检测框；通过所述特征融合层，对所述第一特征图和反卷积上采样后的所述第二特征图进行特征融合，获得第三特征图；通过所述第二检测层，对所述第三特征图进行铅封识别，获得对应铅封所在的局部图像区域的至少一检测框；基于非极大值抑制自多个检测框中筛选出目标检测框，作为所述局部图像区域输出。