[发明专利]一种基于神经网络的指针仪表读数识别方法

权利要求书

1.一种基于神经网络的指针仪表读数识别方法，其特征在于，包括以下步骤：

1)表盘定位数据集的构建与预处理；

2)针对识别对象及应用场景的特点，设计匹配的神经网络模型，包括以下步骤：

2.1)构建特征提取网络

根据实时性和高精度要求构建特征提取网络，该特征提取网络主要由多个组合卷积模块组成，其结构为：

第一层为组合卷积模块A，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；

第二层为组合卷积模块B，它由一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第三层为组合卷积模块C，它由一个零填充层、一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第四层为组合卷积模块B，它由一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第五层为组合卷积模块C，它由一个零填充层、一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第六层为组合卷积模块B，它由一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第七层为组合卷积模块C，它由一个零填充层、一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第八层为组合卷积模块D，它由五个组合卷积模块B组成；

第九层为组合卷积模块C，它由一个零填充层、一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第十层为组合卷积模块B，它由一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

2.2)构建预测网络

根据特征提取网络不同层的输出，构建输出预测不同尺寸目标的预测网络，包括：

a、大尺寸目标预测网络

输入为特征提取网络第十层输出，大尺寸目标预测网络主要由多种组合卷积模块和卷积层组成，其结构为：

第一层为组合卷积模块D，它由五个组合卷积模块B组成；

第二层为组合卷积模块B，它由一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第三层为一个卷积层；

b、中等尺寸目标预测网络

输入为特征提取网络第八层输出和大尺寸目标预测网络第一层输出，中等尺寸目标预测网络主要由多种组合卷积模块和卷积层组成，其结构为：

第一层为输入融合模块，它由一个组合卷积模块B、一个上采样层和一个张量拼接层组成；

第二层为组合卷积模块D，它由五个组合卷积模块B组成；

第三层为组合卷积模块B，它由一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第四层为一个卷积层；

c、小尺寸目标预测网络

输入为特征提取网络第六层输出和中等尺寸目标预测网络第二层输出，小尺寸目标预测网络主要由多种组合卷积模块和卷积层组成，其结构为：

第一层为输入融合模块，它由一个组合卷积模块B、一个上采样层和一个张量拼接层组成；

第二层为组合卷积模块D，它由五个组合卷积模块B组成；

第三层为组合卷积模块B，它由一个深度可分离卷积层、两个批归一化层、两个激活层和一个卷积层组成；

第四层为一个卷积层；

最后将大尺寸目标预测网络、中等尺寸目标预测网络和小尺寸目标预测网络的输出通过非极大值抑制层得到预测目标位置和类别；

2.3)设置损失函数

设置损失函数为中心坐标损失函数、宽高损失函数、置信度损失与类别损失函数的求和均值，损失函数公式如下：

Loss＝(Loss_xy+Loss_wh+Loss_confidence+Loss_cls)/numf

其中，Loss代表总损失，Loss_xy代表中心坐标损失，Loss_wh代表宽高损失，Loss_confidence代表置信度损失，Loss_cls代表类别损失，numf代表输入总数的浮点数；各个损失函数公式如下：

Loss_xy＝mark_object*(2-w*h)*Loss_log(xy_true,xy_predict)

Loss_wh＝0.5*mark_object*(2-w*h)*(wh_true-wh_predict)²

Loss_confidence＝mark_object*Loss_log(mark_object,c_predict)+(1-mark_object)*Loss_log(mark_object,c_predict)*mark_ignore

Loss_cls＝mark_object*Loss_log(cls_true,cls_predict)

中心坐标损失函数公式如下：

Loss_xy＝mark_object*(2-w*h)*Loss_log(xy_true,xy_predict)

其中，mark_object代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，Loss_log代表二值交叉熵损失，xy_true代表真实中心坐标值，xy_predict代表预测中心坐标值，wh_true代表真实宽高值，wh_predict代表预测宽高值，c_predict代表预测框的置信度值，mark_ignore代表IOU小于阈值的锚点框的标志位，cls_true代表真实类别，cls_predict代表预测类别；

3)对设计的神经网络模型装载训练参数进行训练，训练过程中进行在线数据增强，训练完毕后得到表盘定位模型；

4)将待识别图像输入已训练的表盘定位模型中，得到图像中表盘的位置与类别，由表盘定位模型输出构建表盘信息提取数据集并预处理，对步骤2)中设计的神经网络模型装载训练参数并在表盘信息提取数据集上进行训练，训练过程中使用在线数据增强，训练完毕后得到表盘信息提取模型；

5)将表盘定位模型输出输入已训练的表盘信息提取模型中，得到表盘量程信息；

6)由表盘定位模型输出和表盘信息提取模型输出通过图像处理技术获得指针位置和表盘中心位置；

7)由表盘信息提取模型输出中得最大量程位置和最小量程位置，进而获得总量程角度，再由指针位置和最小量程位置获得读数角度，由同比例关系即角度法，获得仪表读数；其中，角度法公式为：

式中，num为指针仪表读数，angle1为最大量程与最小量程之间的角度，angle2为最小量程与指针位置之间的角度，max为最大量程读数，min为最小量程读数。