[发明专利]一种芯片字符抗干扰识别方法及装置

权利要求书

1.一种芯片字符抗干扰识别方法，其特征在于，包括以下步骤：

（1）调节光源亮度，移动相机位置，使得芯片字符与背景对比度达到检测要求；

（2）从芯片模版库中调用模版，相机采集得到一帧图像，基于调用的模版在所采集的图像全域搜索芯片模板，模版被匹配到之后输出模板匹配的位置和方向，该方向为芯片的摆放方向，若方向超出设置的角度范围，则发送报警信号，提示方向错误；若方向正确，则输出的模版匹配位置为芯片的实际位置，根据位置坐标提取仅包含芯片的芯片图像；

（3）提取仅包含字符区域的芯片字符图像：

（3-1）对于步骤（2）获取的芯片图像，基于模版内约定的字符区域相对于芯片整体的几何位置，在芯片图像上搜索得到第一字符ROI区域；

（3-2）将步骤（2）获取的芯片图像传入预先训练好的深度学习模型YOLOv3中进行字符ROI区域的识别，得到第二字符ROI区域；

（3-3）比对步骤（3-1）和步骤（3-2）各自得到的第一字符ROI区域和第二字符ROI区域，若第一字符ROI区域与第二字符ROI区域重合面积满足阈值要求，则步骤（3-1）得到的第一字符ROI区域为芯片字符图像；

（4）芯片字符图像预处理成二值化图像进行字符分割：

（4-1）将步骤（3-3）得到的芯片字符图像使用滤波的方法进行降噪处理，得到降噪后图像；

（4-2）将步骤（4-1）得到的降噪图像进行阈值分割得到二值化图像；

（4-3）根据模版中单个字符的几何矩条件将步骤（4-2）得到的二值化图像进行字符分割，得到单个字符；

（5）字符缺陷检测：

（5-1）步骤（4-3）分割单个字符时，若出现几何条件不满足阈值条件，则认为字符存在缺陷，得到第一缺陷字符；

（5-2）将步骤（4-1）得到的降噪图像传入预先训练好的深度学习模型YOLOv3中进行字符缺陷区域检测，得到第二缺陷字符；

（5-3）比对步骤（5-1）检测到的第一缺陷字符与步骤（5-2）检测到的第二缺陷字符，若第一缺陷字符与第二缺陷字符重合区域面积满足阈值条件，则认定该单个字符为缺陷字符，否则为正常单个字符；

（6）缺陷字符优化及字符识别：

（6-1）缺陷字符优化：对步骤（5-3）得到的单个缺陷字符通过几何条件约束、形态学处理进行修复优化，得到修复单个字符；

（6-2）人工神经网络字符识别：将步骤（5-3）得到的正常单个字符与步骤（6-1）修复优化的修复单个字符传入预先训练好的多层感知机进行字符识别，最后将所有单个字符识别结果按照空间位置进行排序，得到最终的字符串。

2.根据权利要求1所述的一种芯片字符抗干扰识别方法，其特征在于，所述模版库存放了预先创建的每一种芯片的模版，模版包含以下数据：芯片图像的边缘特征及灰度信息，字符串在芯片区域内的位置信息，字符串中每一个字符相对于字符串整体区域内的位置信息，当前光照条件信息；

若字符待检测芯片未创建模版，则在步骤（2）之前手动创建新的模版，同时更新记录在模版库里。

3.根据权利要求1所述的一种芯片字符抗干扰识别方法，其特征在于，所述深度学习模型YOLOv3的训练过程如下：

(a)在创建模版的相同图像采集环境中，使用相机采集各种芯片图像，使用标注工具labelImg进行芯片目标、各类缺陷目标的标注，从而构建起数据集；

(b)从构建的数据集中按照一定的比例划分出训练集、验证集和测试集；

(c)使用训练集对深度学习模型YOLOv3进行训练，使用验证集在训练过程中进行模型的性能评判，然后使用测试集进行测试，当测试结果能够准确识别定位出芯片目标和各类缺陷字符目标时既通过测试，最终得到满足要求的YOLOv3预训练模型。

4.根据权利要求3所述的一种芯片字符抗干扰识别方法，其特征在于，所述芯片目标仅包含芯片区域的范围，分为一个类别，命名为：string；

所述各类缺陷目标包括单个字符区域内存在污染、粘连、划痕、破损缺陷的范围，分为四个类别，分别命名为：d1、d2、d3、d4。