[发明专利]一种基于深度学习的烟支外观缺陷检测方法

权利要求书

1.一种基于深度学习的烟支外观缺陷检测方法，其特征在于：包括如下步骤：

 S1：通过相对设置在卷烟机两侧的相机组件采集经过相机组件时，烟支的正面图像和反面图像，正面图像或反面图像由两个侧面图像组成，两个侧面图像的交集包含烟支180°圆周面区域；正面图像和反面图像的交集包含烟支360°圆周面区域；

S2：将S1中采集到的图像进行直方图均衡化处理；

S3：对S2处理后的图像进行中值滤波处理；

S4：将S3处理后的图像按高度1：1的比例裁剪为上图像和下图像，分别对两个图像进行S5和S6处理；

S5：建立基于图像金字塔的灰度模板，利用基于灰度模板的模板匹配获取烟支图像的位置和方向；

S6：根据S5的图像位置和方向进行仿射变换，校正图像位置；

S7：将校正后的上图像和下图像合并成为一张图像；

S8：按照无文字烟嘴区域、有文字烟嘴区域和烟身区域将S7处理后的图像裁剪为三个图像，分别为烟嘴段图像、LOGO段图像和烟身段图像；

S9：分别在烟嘴段图像、LOGO段图像和烟身段图像的背景区域生成掩模，烟嘴段图像无掩模区域作为第1感兴趣区域，LOGO段图像无掩模区域作为第2感兴趣区域，烟身段图像无掩模区域作为第3感兴趣区域；

S10：利用感兴趣区域样本集建立模型数据集，感兴趣区域样本集分为训练集与预测集，由训练集与预测集共同组成模型数据集；其中第1感兴趣区域的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中第2感兴趣区域的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像；其中第3感兴趣区域的样本集包含无缺陷图像、飞沫干扰无缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像；

S11：通过模型数据集建立并优化深度学习算法模型；

深度学习算法模型为VGG16，分别将三个感兴趣区域的样本集带入模型进行训练；

所述VGG16模型的训练过程如下：

①：从样本集中取一个样本(Xp,Yp)，将Xp输入网络，其中Xp为第p个输入样本，Yp为理想输出结果；

②：计算相应的实际输出结果Op；在此阶段，信息从输入层经过逐级的变换，传送到输出层；这个过程也是网络在完成训练后正常运行时执行的过程；在此过程中，网络执行的是计算：Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n）），其中，Fn为第n层网络的计算函数，W（n）是第n层的权值矩阵；

③：计算实际输出Op与相应的理想输出Yp的差；

④：按极小化误差的方法反向传播调整权值矩阵；

S12：利用深度学习模型对烟支图像进行缺陷检测；

具体为将机组件实时采集到的烟支图像带入深度学习算法模型中得出识别结果，具体为无缺陷烟支图像、飞沫干扰图像、圆度缺陷图像、破损缺陷图像、污渍缺陷图像、夹沫缺陷图像，如果深度学习算法模型的识别结果均为无缺陷烟支图像或飞沫干扰图像，图像处理控制系统则将烟支判定为好品，否则图像处理控制系统则将烟支作为坏品进行剔除。

2.如权利要求1所述的一种基于深度学习的烟支外观缺陷检测方法，其特征在于：所述图像处理控制系统，包括图像处理服务器、采集剔除控制器、编码盘、电磁阀和显示器，图像处理服务器分别与采集剔除控制器和显示器电连接，采集剔除控制器分别与编码盘和电磁阀电连接，图像处理服务器中还包括图像卡和I/O卡，图像卡分别与图像采集单元和采集剔除控制器电连接，I/O卡与采集剔除控制器电连接，所述图像采集单元为四组相机组件，每组相机组件单独与图像卡电连接。

3.如权利要求1或2所述的一种基于深度学习的烟支外观缺陷检测方法，其特征在于：所述图像处理控制系统在图像处理过程中具有如下步骤：

步骤1：图像采集：编码盘输入每根烟支位置信息给采集剔除控制器，采集剔除控制器把位置信息转换为帧信号发给图像卡，图像卡向图像采集单元发送采集信号，图像采集单元采集同1根烟的两个相机组件的图像再发送回图像处理服务器，完成图像采集；

步骤2：图像处理：图像处理服务器处理两个相机组件图像得出判别结果；

步骤3：判别处理：如果步骤2中图像判别结果均为好品，图像处理控制模块向显示器发送好品统计信息；

如果步骤2中图像判别结果为坏品，图像处理服务器执行两个操作：首先I/O卡向采集剔除控制器发送指定烟支为坏品的信息，采集剔除控制器向电磁阀发送剔除信息实现对缺陷烟支剔除处理，接着图像处理服务器向显示器发送坏品统计、缺陷类型、缺陷图像信息。