[发明专利]一种基于深度学习的芯片表面字符识别方法

权利要求书

1.一种基于深度学习的芯片表面字符识别方法，其特征在于，包括以下步骤：

步骤1，将所有芯片图像进行低照度增强，随机选取部分增强图像进行区域标注，将每张图像划分为背景、芯片区域、焊盘区域(背景区域)及其它区域，并使用DeepLab V3网络进行训练；

步骤2，将步骤1得到的增强图像输入到训练完成的DeepLab V3网络中，得到每张芯片对应的区域分割图；

步骤3，去除非字符反光元素：利用步骤2得到的分割图，对分割图中的芯片区域做取外边界矩形处理，并对边界矩形区域内的像素进行调整；若像素为芯片类或背景类则予以保留，否则将像素赋值为0；最后取边界矩形的左上角坐标及宽高，在步骤1得到的增强图像上截取相同位置和大小的形状作为新的图像输出；

步骤4，识别字符方向：将步骤3得到的输出图像随机筛选一部分，按其字符的逆时针旋转方向标注为0度、90度、180度、270度；标注后对所有图像进行亮度、对比度、清晰度度和另外三个方向的增广，然后将这些图像在卷积神经网络中进行训练；

步骤5，将步骤3得到的输出图像输入到步骤4训练完成的模型中，经过预测得到图像字符的旋转角度值；将步骤3得到的输出图像按照角度值对芯片图像反向旋转，得到字符方向修正为0度的芯片图像；

步骤6，将步骤5得到的修正图像进行标注，标注内容包括图像上每个文本行区域的左上角坐标、文本行的宽高及文本行包含的字符个数，最后将这些标注后的图像与它们的标签在CRAFT神经网络中进行训练；

步骤7，将步骤5得到的正向字符图像输入到步骤6训练完成的网络当中，得到网络输出的两个概率分布图像，分别代表输入图像中每个像素为字符中心的概率和每个像素为两个字符连接中心的概率；

步骤8，提取单字符图像：利用步骤7得到的字符概率分布图及字符连接区域概率分布图，在步骤5得到的修正图像上截取出所有的单字符图像；

步骤9，对步骤8得到的单字符图像进行标注，标注后对所有图像进行亮度、对比度、清晰度、x轴方向偏移和y轴方向偏移的增广，然后将标注后的图像在卷积神经网络中进行训练；

步骤10，字符序列识别：将步骤8得到的单字符图像输入步骤9训练完成的模型中，输出与每张芯片图像相对应的芯片字符序列；

步骤11，对于步骤10得到每个芯片的字符序列，对其中存在的相似字符如o和0，1和I，2和Z，5和S进行容错修正，如果序列中包含了上述字符，使用最邻近修正算法，判定与当前字符相邻字符为字母占多数或是数字占多数，若判定结果与当前字符的类别不一致，则对该字符进行修正，修正后输出最终的字符序列。

2.根据权利要求1所述的方法，其特征在于步骤8包括：

步骤8-1，将步骤7得到的字符概率分布图T(x,y)和字符连接区域概率L(x,y)分布图，分别进行二值化处理：

其中阈值θ_t为0.35，θ_l为0.4；

步骤8-2，将步骤8-1得到的T_th和L_th进行并集运算，在图像上寻找连同区域，并对各个连通区域的像素进行标记：g(x,y)＝n,n＝0,1,2…，其中n为像素所在连通域的编号，n＝0时表示该像素位于背景区域；

步骤8-3，对字符概率分布图T(x,y)和L(x,y)分别进行二维高斯卷积得到T’(x,y)和L’(x,y)，其中高斯核参数sigma＝1；然后通过寻找图中的各个极大值点，分别提取出芯片上每个字符的中心点的坐标C_Text和每个字符连接中心C_Link的坐标：

C_Text＝{(x,y)|T'(x,y)≥max(T'(x_i,y_i),λ),x_i∈[x-1,x+1],y_i∈[y-1,y+1]}

C_Link＝{(x,y)|L'(x,y)≥max(L'(x_i,y_i),λ),x_i∈[x-1,x+1],y_i∈[y-1,y+1]}

其中λ＝0.25；

步骤8-4，遍历字符中心坐标，利用步骤8-1得到的T_th计算字符的初始边界坐标：

y_t＝max{y|T_th(x_c,y)＝0,y∈[0,y_c)}

y_b＝min{y|T_th(x_c,y)＝0,y∈(y_c,h]}

x_l＝max{x|T_th(x,y_c)＝0,y∈[0,x_c)}

x_r＝min{x|T_th(x,y_c)＝0,y∈(x_c,w]}

其中，y_t和y_b为上下边界的y坐标、x_l和x_r为左右边界的x坐标、x_c和y_c为字符中心的x及y坐标，w和h为图片的宽度及高度；

步骤8-5，对于每个字符中心，在其两侧扫描相同编号的字符连接中心，左右扫描范围分别为：

R_l＝{(x,y)|x∈[0,x_c),y∈[y_t,y_b]}

R_r＝{(x,y)|x∈[0,x_c),y∈[y_t,y_b]}

若字符中心左(右)侧存在编号相同的字符连接中心，则取其距离最近的字符连接中心，以其的x轴坐标修正为字符新的左(右)边界：

其中，g(x,y)＝g(x_c,y_c),若字符中心左侧不存在编号相同的字符连接中心，则不更新字符的左(右)边界，即x'_l＝x_l或x'_r＝x_r；

步骤8-6，根据字符新的左侧和右侧边界，修正字符的上侧和下侧边界：

步骤8-7，根据步骤8-5和步骤8-6得到的修正的字符边界，在步骤5得到的输出图像中截取每个单字符图像。