[发明专利]输电铁塔零件加工自动计件系统及其自动计件方法

权利要求书

1.输电铁塔零件加工自动计件系统的自动计件方法，其特征在于，自动计件系统包括数据采集设备、计件系统及服务器；所述数据采集设备用于获取生产线上的铁塔零件的钢印字符照片，并上传至服务器；所述服务器内置AI算法软件，用于对钢印字符照片中的钢印字符进行识别，并得到识别结果；所述计件系统将服务器中得到的识别结果进行分析，实现对各工位工人加工计件、数据实时显示、用户管理、数据统计及薪酬生成；所述数据采集设备包括PDA或智能手机以及APP，所述APP包括身份验证登录模块、拍照模块及数据传输模块，所述身份验证登录模块用于对不同工人进行身份验证，工人采用ID登录、人脸识别登录或指纹识别登录方式登录APP进行使用；所述拍照模块用于打开智能手机或PDA的摄像头，并进行人工拍照，以获取相应照片；所述数据传输模块用于将拍摄后的照片传输至服务器进行AI处理；所述计件系统包括图形用户界面、数据入库模块、数据可视化显示模块、用户管理模块、数据统计模块、薪酬生成模块；所述图形用户界面采用图形方式显示的计算机操作环境用户接口；所述数据入库模块将从服务器端获取的钢印字符、时间戳数据按照存储到相应的表中；所述数据可视化显示模块用于将入库数据在图形用户界面上以图、表形式进行显示；所述用户管理模块用于工人信息的增、删、改、权限分配操作，所述数据统计模块用于统计工人的加工件数生产数据，所述薪酬生成模块用于将工人的数据自动生成对应薪酬；

自动计件方法，包括如下步骤:

1）人工打开智能手机或PDA上的APP，并登陆进行身份验证，通过APP自动调用PDA或智能手机的摄像头，人工将摄像头对准完成打钢印后的铁塔零件钢印区域，APP自动完成定位和拍照，通过数据传输模块自动将图片传输回服务器；

2）服务器获取图像，对获取的图像进行尺寸变换，得到尺寸统一的图片，并将尺寸统一的图片进行归一化处理；

3）服务器内置AI算法用端到端的卷积神经网络对缩放后的图片进行推理计算，推理得到8通道的字符的四个点坐标图、36通道的字符的分类图及2通道的字符区域概率图，通过字符区域概率图的结果，筛选字符概率大于等于0.95的位置，进行下一步处理；

步骤3）中端到端的卷积神经网络，网络的主体结构包括编码网络部分、解码网络部分及网络头部；所述网络头部将网络主干输出的特征图进行字符的定位与识别，网络头部包括三个部分，第一部分将主干网络输出的特征图先通过两个含有32个3X3的卷积核的卷积层，最后用一层含有2个1X1卷积核的卷积层进行卷积得到通道数为2的字符区域概率图，其中一个概率图用0到1之间的数值表示每个像素为字符的概率，另一个概率图用0到1之间的数值表示每个像素为图片背景的概率，该部分网络结构在训练时可以提升字符识别的准确率；第二部分将主干网络输出的特征图先通过两个含有32个3X3的卷积核的卷积层，最后用一层含有8个1X1卷积核的卷积层进行卷积得到通道数为8的字符区域四边形坐标图，八个通道表示的数值分别记为[x1,y1,x2,y2,x3,y3,x4,y4]，分别表示字符区域四边形框的左上角坐标，右上角坐标，左下角坐标，右下角坐标；第三部分将主干网络输出的特征图先通过两个含有32个3X3的卷积核的卷积层，最后用一层含有36个1X1卷积核的卷积层进行卷积得到通道数为36的字符概率图，36个通道分别表示26个英文字母与10个阿拉伯数字的概率；

4）服务器内置AI算法用非极大值抑制，对推理的结果中重叠的四边形框进行融合得到最终的矩形框，通过矩形框中心点位置坐标（x,y），从字符分类图中的（x,y）处的36个通道中选取概率最大的类别作为该矩形框的识别结果；

5）服务器通过反向校验算法对识别结果进行验证，将识别后铁塔钢印编码的字符串同数据库中的表项进行匹配，在反向校验算法中，若能够匹配结果的相似度能够达到阈值，则进一步匹配过滤，得出最后的结果，将其录入数据库；若匹配结果计算的相似度低于阈值，则记为匹配失败，当次数超过设定值时，则判定机器无法识别结束；

6）服务器将识别错误的字符串以及照片返回给APP，人工在智能手机或PDA上修正错误的字符，并确定修正结果，再将修正结果传输回服务器，直接录入数据库；

7）服务器将其数据库中的识别结果上传至计件系统，计件系统通过自动计件软件进行各工位工人的加工计件、数据实时显示、用户管理、数据统计及薪酬生成。