[发明专利]一种基于关键点检测的指针仪表自动读数方法

权利要求书

1.一种基于关键点检测的指针仪表自动读数方法，其特征在于：

1)首先采集指针型仪表的正面RGB图像，并构建基于改进掩膜区域卷积神经网络的关键点检测网络；

2)将已知仪表读数的指针型仪表的正面RGB图像及其读数输入到关键点检测网络进行训练，采用训练后的关键点检测网络对待测的指针型仪表的正面RGB图像进行处理，预测获得指针型仪表在正面RGB图像中的定位位置，并获得指针型仪表的表盘上刻度线和指针的关键点；

3)基于检测到的关键点拟合刻度线构成的圆弧以及指针所在的直线；

4)最后根据指针所在的直线和刻度线构成的圆弧之间的相对角度自动计算指针型仪表的读数。

2.根据权利要求1所述的一种基于关键点检测的指针仪表自动读数方法，其特征在于：所述的步骤1)中，关键点检测网络包括特征提取网络、区域提取网络、感兴趣区域对齐(RoIAlign)层、检测器和分割分支；原始正面RGB图像输入到特征提取网络进行特征提取得到特征图，再将特征图再通过区域提取网络产生可能存在指针型仪表的感兴趣区域，将生成的若干个感兴趣区域经过感兴趣区域对齐(RoIAlign)层被池化为固定大小的二维矩阵，并且通过双线性插值处理获得感兴趣区域中每个像素点的特征值然后再进行池化来提升精度；在获得二维矩阵之后，关键点检测网络分为两路：

一路为检测器，包括多个连续连接的全连接层，带有感兴趣区域信息的二维矩阵输入到检测器中对每个感兴趣区域进行分类和坐标回归，预测输出完全包括指针型仪表的感兴趣区域；当感兴趣区域中有指针型仪表时，通过感兴趣区域的位置定位该指针型仪表在输入的正面RGB图像中的位置；

另一路为分割分支，包括多个连续连接的卷积层，带有感兴趣区域信息的二维矩阵输入到分割分支预测感兴趣区域中的关键点位置，每一个卷积层作为一个通道检测一个关键点，通道的数量和图中的关键点数量相同，将分割分支的每一个通道上输出的二维矩阵中的峰值点作为前景。

3.根据权利要求2所述的一种基于关键点检测的指针仪表自动读数方法，其特征在于：每一个通道上输出的取该二维矩阵中的最大值作为峰值点，并作为前景，其他值作为背景。

4.根据权利要求2所述的一种基于关键点检测的指针仪表自动读数方法，其特征在于：所述步骤2)中，在训练过程中，输出的每一个通道上产生的损失用损失函数计算，对于预测的每一个关键点，在二维矩阵上最小化损失函数以降低损失，通道输出的二维矩阵利用softmax函数将值归一化到0到1之间，预测的N个关键点的总损失函数表示为：

其中，m_i,j代表改进的掩膜区域卷积神经网络输出的二维矩阵中坐标为(i,j)位置的标签值，p_i,j代表网络的真实输出值，k表示第k个通道；i、j分别表示二维矩阵中的行列坐标序号，x、y分别表示二维矩阵中的行列总数。

5.根据权利要求2所述的一种基于关键点检测的指针仪表自动读数方法，其特征在于：所述的感兴趣区域对齐层不对计算结果取整，始终使用浮点数来表示二维矩阵的坐标。

6.根据权利要求2所述的一种基于关键点检测的指针仪表自动读数方法，其特征在于：所述的关键点检测网络中采用MobileNet V2作为特征提取网络。

7.根据权利要求2所述的一种基于关键点检测的指针仪表自动读数方法，其特征在于：所述的关键点包括表盘上刻度线的关键点和指针的关键点，每个刻度线的关键点为刻度线上的仅一个点，指针的关键点为指针尖、指针转动中心和指针尾的三个点。

8.根据权利要求1所述的一种基于关键点检测的指针仪表自动读数方法，其特征在于：所述的步骤3)中，拟合指针所在的直线是采用遍历任意两个指针关键点计算直线斜率并平均的方法，采用指针尖、指针转动中心、指针尾的三个关键点计算得到准确的直线方程。