[发明专利]一种基于关键点检测的指针仪表自动读数方法

说明书

本发明公开了一种基于关键点检测的指针仪表自动读数方法。采集指针型仪表的正面RGB图像，并构建基于改进掩膜区域卷积神经网络的关键点检测网络；将已知仪表读数的指针型仪表的正面RGB图像及其读数输入到关键点检测网络进行训练，对待测对象进行预测获得定位位置和表盘上刻度线和指针的关键点；基于检测到的关键点拟合刻度线构成的圆弧以及指针所在的直线；最后根据指针所在的直线和刻度线构成的圆弧之间的相对角度自动计算指针型仪表的读数。本发明能够实现指针型仪表的自动读数，具有很好的精度以及鲁棒性，可以适用于多种类型的指针型仪表，具有重要的工程价值和意义。

技术领域

本发明涉及一种指针仪表自动读数方法，尤其是涉及一种基于关键点检测的指针仪表自动读数方法。

背景技术

指针式仪表因为其良好的实用性、高可靠性以及低成本的优势，目前被广泛应用在电力系统、石油化工以及其他的传统行业中。以电力系统中的变电站为例，出于安全的考虑，在变电站中有很多指针式仪表监控着设备的温度及气压等状态。目前变电站巡检人员需要每天去记录各个仪表的读数，确保设备处于正常的运行状态，这种低劳动价值的工作十分耗时，并且是对人力资源的极大浪费。最近，随着智能电网概念的提出，变电站的操作和运维技术都朝着智能化的方向发展。因此，目前在变电站中依靠巡检人员去读指针表的读数并记录的传统方式，也逐渐将被智能化的自动仪表读数系统所取代。所以，现有技术中缺少了一个具有高精度以及高稳定性的自动读取仪表读数的方法。

发明内容

为解决上述问题，本发明提出一种基于关键点检测的指针仪表自动读数方法。该方法是利用改进的掩膜区域卷积神经网络定位图像中指针仪表的位置并检测刻度线和指针的关键点位置，最后基于刻度线和指针的位置关系计算最终读数。

本发明的技术方案包括如下步骤：

1)首先采集指针型仪表的正面RGB图像，并构建基于改进掩膜区域卷积神经网络的关键点检测网络；

2)将已知仪表读数的指针型仪表的正面RGB图像及其读数输入到关键点检测网络进行训练，采用训练后的关键点检测网络对待测的指针型仪表的正面RGB图像进行处理，预测获得指针型仪表的表盘区域在正面RGB图像中的定位位置，并获得指针型仪表的表盘上刻度线和指针的关键点；

3)基于检测到的关键点拟合刻度线构成的圆弧以及指针所在的直线；

4)最后根据指针所在的直线和刻度线构成的圆弧之间的相对角度自动计算指针型仪表的读数。

为了使整个关键点检测网络能够实现从输入采集图像到输出刻度线和指针关键点的端到端的训练，本发明提出了基于改进的掩膜区域卷积神经网络的关键点检测网络。

所述的步骤1)中，如图1所示，关键点检测网络包括特征提取网络、区域提取网络、感兴趣区域对齐(RoIAlign)层、检测器和分割分支；

原始正面RGB图像输入到特征提取网络进行特征提取得到特征图，再将特征图再通过区域提取网络产生可能存在指针型仪表的感兴趣区域，将生成的若干个感兴趣区域经过感兴趣区域对齐(RoIAlign)层被池化为固定大小的二维矩阵，其中感兴趣区域对齐层不对计算结果取整，始终使用浮点数来表示二维矩阵坐标，并且通过双线性插值处理获得感兴趣区域中每个像素点的特征值然后再进行池化来提升精度，这一方法解决了池化后的二维矩阵没有与真实的感兴趣区域对齐而使得要求像素级精度的分割任务的精度变低的问题。

在获得二维矩阵之后，关键点检测网络分为两路：

一路为检测器，包括多个连续连接的全连接层，带有感兴趣区域信息的二维矩阵输入到检测器中对每个感兴趣区域进行分类和坐标回归，预测输出完全包括指针型仪表的感兴趣区域；当感兴趣区域中有指针型仪表时，通过感兴趣区域的位置定位该指针型仪表在输入的正面RGB图像中的位置；