[发明专利]一种基于深度学习的芯片表面字符识别方法

说明书

本发明公开了一种基于深度学习的字符表面识别方法，属于自动控制和计算机视觉领域。本发明所述方法使用分割神经网络去除芯片图像中焊盘区域的干扰，再使用方向识别网络对芯片字符方向进行修正，然后利用字符提取网络中预测芯片字符的位置分布，通过其输出的字符分布及字符间距分离通过后处理算法提取出单字符图像，最后使用字符识别网络逐一识别字符内容并拼接成字符串序列。本发明所述方法可以准确地提取和识别芯片表面字符，对在非均匀光照条件下拍摄的各类芯片图像具有很好的适应能力，解决了传统芯片字符识别技术中由于图像照度低、分辨率低、噪声高、旋转方向不规律且芯片周围存在较多干扰信息等因素而识别不准确的问题。

技术领域

本发明属于自动控制和计算机视觉领域，具体涉及一种基于深度学习与计算机视觉的芯片表面字符识别方法。

背景技术

芯片是智能电子设备中硬件的重要组成部分，是电子信息领域最重要的发明之一。芯片的发明奠定了微型计算机和智能移动设备发展的基础。芯片在电子设备生产过程中会被安装在主板上，其表面往往印刷了一串或多串字符，这些字符通常由字母、数字和一些特殊符号组成，包含了芯片的生产商、型号、流水号等信息。通过这些信息可以实现芯片在电子设备生产过程中的管理和追踪，甚至还可以用于芯片的安装质量管控。生产环境中的芯片图像使用工业相机采集，受生产环境特点的影响，工业相机采集的芯片图像往往光照不均衡且噪声较高，加上不同类型芯片的外观和尺度差异非常大，导致采集的部分芯片图像的分辨率过低。此外，图像中芯片的周围还有焊锡、引脚等与字符颜色近似的干扰信息，也对芯片表面字符的识别带来负面影响。

在现行的技术中，除了预测字符内容这一步骤运用深度学习方法外，与芯片表面字符识别相关的前处理和后处理流程更多的是使用形态学等传统的计算机视觉方法进行。这些方法受图像拍摄环境的影响较大，也无法很好地应对芯片外观与尺度的多样性，不具有普适性和可迁移性，在真实的生产环境中还依赖人工操作加以干预。

目前，工业生产的自动化程度越来越高。电子设备生产作为高端制造业，在芯片字符识别的问题上还较为依赖人工方法。人工操作的效率低、成本高，而且有漏失风险，已经逐渐无法满足实际需要。所以目前需要一种能够解决由于芯片图像外观多样、质量较差、噪声和干扰较多等因素而识别准确度不高问题的芯片表面字符识别方法。或者：所以目前需要一种能够对芯片图像外观多样、质量较差、噪声和干扰较多等问题具有很好的适应能力的芯片表面字符识别方法。

发明内容

本发明提供了一种基于深度学习的芯片表面字符识别方法，目的是针对现有技术中存在的芯片图像照度低、噪声高、分辨率低导致字符识别准确度不高以及芯片或芯片字符尺寸差异较大等问题。通过深度神经网络学习各类芯片的视觉特征，使芯片字符识别能够适应芯片的多样性，也减少了识别过程中人工操作的干预。

本发明所提出的技术问题是这样解决的：

一种基于深度学习的芯片表面字符识别方法，包括以下步骤：

步骤1，将所有芯片图像进行低照度增强，随机选取部分的增强图像进行区域标注，将每张图像划分为背景、芯片区域、焊盘区域(背景区域)、及其它区域，并使用DeepLabV3网络进行训练；

步骤2，将步骤1得到的增强图像输入到训练完成的DeepLab V3网络中，得到每张芯片对应的区域分割图；

步骤3，去除非字符反光元素：利用步骤2得到的分割图，对分割图中的芯片区域做取外边界矩形处理，并对边界矩形区域内的像素进行调整；若像素为芯片类或背景类则予以保留，否则将像素赋值为0；最后取边界矩形的左上角坐标及宽高，在步骤1得到的增强图像上截取相同位置和大小的形状作为新的图像输出；

步骤4，识别字符方向：将步骤3得到的输出图像随机筛选一部分，按其字符的逆时针旋转方向标注为0度、90度、180度、270度；标注后对所有图像进行亮度、对比度、清晰度度和另外三个方向的增广，在卷积神经网络中进行训练；