[发明专利]一种基于Swin-Transformer和Detr的快递面单识别方法

说明书

本发明公开了一种基于Swin‑Transformer和Detr的快递面单识别方法，包括：通过Swin‑Transformer来提取快递面单图像的特征图；通过Detr目标检测算法对快递面单条形码区域进行检测，根据类别是否为条形码以及包围框定位到快递面单条形码区域；对定位到的快递面单条形码区域进行校正，得到修正后的条形码；对修正后的条形码进行解码，最终得到快递面单的条形码解码结果。本发明结合了Swin‑Transformer特征提取与Detr目标检测算法，能够有效地提高快递面单的识别精度。

技术领域

本发明涉及单据识别技术领域，尤其涉及一种基于Swin-Transformer和Detr的快递面单识别方法。

背景技术

近年来，随着我国经济的不断发展，快递物流运输作为各大经济模块的支撑行业，不仅给经济的发展带来了更多的机遇，也给人们的生活带来了很多便利。其中，快递自动出库系统的出现不仅加快了用户的取件速度而且极大地降低了快递站工作人员的劳动强度，而快递面单的检测与识别在自动出库系统中起着重要的作用。

传统的检测与识别技术大多使用ocr技术来检查及识别快递面单上的条形码、三段码等信息，虽然其识别速度和精度相对于人工检查及识别来说有很大优势，但仍然存在不足之处。第一点是ocr识别需要的条件较为苛刻，比如对录入的图像质量要求比较高，对条形码的角度和位置有着严格的要求。第二点则是ocr技术一般只是针对整张图像进行识别，不能做到选择性的识别快递面单中的各项信息。此外，因为运输过程中快递之间不可避免产生碰撞挤压，导致快递面单出现破损或者沾染上污渍，此时再使用传统的ocr识别技术会降低条形码的识别率甚至造成误读。

论文《Fast Positioning and Segmentation Identification of ExpressParcel Bar Codes in High Noise Environment》通过对图像进行形态学处理来定位条形码区域，首先通过多次腐蚀膨胀操作对图像进行去噪处理，然后使用开闭运算使快递单区域尽量完整且独立，最后对每个轮廓进行凸包处理计算得到快递面单条形码区域。该方法不需要采集大量的数据集进行标注，然而其人工提取的特征表达能力较差，且较多的人为参数设置使得其总体上泛化能力有限，难以实现复杂场景下的多目标、多角度条形码区域的快速提取。

论文《Real-Time Barcode Detection and Classification Using DeepLearning》提出了使用深度学习YOLO来定位快递面单条形码。YOLO在图像上划分出若干网格，每个网格预测K个box，每个box预测五个回归值。其中的四个回归值代表box的位置，第五个回归值代表box中含有物体及其预测位置的置信程度。尽管作为单阶段模型显著提高了计算速度，然而YOLO划分网格的方式较为粗糙，对小物体和区域密集物体的检测效果不佳。另一方面，由于CNN无法提取长程依赖的像素特征，因此使用CNN提取的快递面单的特征的表达能力有限。

专利《快递面单的文本信息的获取方法、装置和终端设备》提出了如下的方法：首先获取快递面单的图像，然后找到图像中的定位标志区域(如条形码区域，二维码区域等)，再以该定位标志区域作为定位参照，在图像中快速地确定出包含有目标信息的目标识别区域，该方法依赖于人工提取的特征和浅层算法，需要设置较多的参数，泛化能力有限，识别能力低于基于深度学习的快递面单识别方法。

专利《基于神经网络的条形码定位方法及系统》中提出了使用YOLO来定位快递面单条形码然后再进行接下来的解码操作，其出现的问题与论文《Real-Time BarcodeDetection and Classification Using Deep Learning》中所提到的使用深度学习YOLO来定位快递面单条形码的问题相同，因此，其实际应用也存在不足之处。

发明内容