[发明专利]基于AI技术的产品包装袋打码缺陷检测方法及系统

权利要求书

1.一种基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，包括以下步骤：

步骤S1:获取产品包装袋图像，并进行裁剪；

步骤S2:根据裁剪后的产品包装袋图像，基于软触发或硬触发，触发图像识别；

步骤S3:对裁剪后的产品包装袋图像进行预处理；

步骤S4:基于预处理后的图像，采用DB算法，形成文本框；

步骤S5:根据得到的文本框，基于深度学习模型CRNN进行字符识别得到字符预测的内容结果以及相应的概率值；

步骤S6:基于字符预测的内容结果以及相应的概率值，获取缺陷目标的检测结果。

2.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述步骤S1具体为：通过工业相机采集高速传送带上的产品包装袋图像，并对相机拍摄到的产品包装袋图像进行裁剪，在拍摄第一幅图像上框选出裁剪区域后，后继的实时采集中自动保留裁剪区域内图像。

3.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述软触发采用间隔时间法、相似度比较法和边缘强度法定位需检测识别图像。

4.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述硬触发通过连接打印及包装设备上的编码器及PLC的串口输出信号硬触发方法自动触发后继字符定位识别及缺陷检测。

5.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述预处理具体为：将读入的RGB图像转化为灰度图像，先对其做快速降噪处理，再对自适应阈值算法处理后二值化图像做反色处理，最后做腐蚀和膨胀等形态学处理。

6.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述DB算法，具体为：骨干网络选用ResNet50_vd，通过上采样的方式将特征金字塔的输出变换为同一尺寸，并级联产生特征及特征层；而后，通过特征层预测概率图及文本概率图，用于计算该像素属于文本的概率形成文本概率图，然后根据各像素动态阈值形成动态阈值图；通过文本概率图和动态阈值图生成DB二值图，根据DB二值图拓展标签生成，形成文本框。

7.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述深度学习模型CRNN具体为：采用CRNN算法，特征学习阶段采用CNN+RNN的网络结构，在对齐时选用CTC算法；骨干网络选用ResNet34_vd，CNN提取图像像素特征，RNN提取图像时序特征，而CTC归纳字符间的连接特性，最终输出值为文本识别的预测结果以及相应的预测概率值。

8.根据权利要求1所述的基于AI技术的产品包装袋打码缺陷检测方法，其特征在于，所述步骤S6具体为：

（1） 针对多印、漏印情况，直接比较用户输入的标准字符串与预测结果字符串之间的字符串长度，标准字符串长度小于预测结果字符串长度则视为漏印，反之，标准字符串长度大于预测结果字符串长度则视为多印；

（2）针对错印情况，直接比较用户输入的标准字符串与预测结果字符串是否相同，若存在若干处字符不相同，则视为错印；

（3）针对字符缺损情况，为合理地判别是否出现缺损字符，采用统计学3σ原则，根据预测字符概率高低判断是否异常，对于概率小于的字符则视为异常字符；

（4）若无上述3种错误情况，则认为输入图片的缺陷检测结果为完全正确。

9.一种基于AI技术的产品包装袋打码缺陷检测系统，其特征在于，包括图像自动采集单元、触发识别单元、OCR字符定位识别缺陷检测单元和结果输出单元；

所述图像自动采集单元，过工业摄像头实时自动采集高速传送带上的产品包装袋图像，并可利用系统自带识别功能自动对包装袋图像并进行裁剪，而裁剪后图像传输给触发识别模块；

所述触发识别模块对采集图像通过间隔时间法、相似度比较法和边缘强度法的软触发方法定位需检测识别图像，或通过连接打印及包装设备上的编码器及PLC的串口输出信号硬触发方法自动触发后继OCR字符定位识别及缺陷检测模块；

所述OCR字符定位识别缺陷检测单元利用深度神经网络对待识别的包装袋图像进行预处理、文本定位及OCR字符识别，并将字符识别结果及置信度输给缺陷检测模块，支持动态识别和离线识别两种模式；之后缺陷检测根据OCR结果判断是否有错印、漏印、多印及模糊不清情况，支持动态检测和离线检测两种模式；

所述结果输出模块对检测出的错误或缺陷帧输出错误类别信息或通过232串口返回Ng信号，同时分别循环保存正常帧和缺陷帧图像。