[发明专利]一种基于目标检测和二值图像检测的水表指针读数识别方法

权利要求书

1.一种基于目标检测和二值图像检测的水表指针读数识别方法，其特征在于，包括以下步骤：

步骤1：采集实际应用场景下的水表图像作为样本数据集，并对样本水表图像的每一个指针区域以及指针像素点进行标注，其中指针区域的标注信息对应的是指针的计量单位信息；

步骤2：建立目标-二值图像检测模型，所述的目标-二值图像检测模型由指针目标检测模块、目标区域分割模块和二值图像检测模块构成；

步骤3：利用步骤1采集到的样本数据集对目标-二值图像检测模型进行训练，具体为：

步骤3.1：将标注后的水表图像作为目标-二值图像检测模型的输入，首先通过指针目标检测模块获取水表图像中的所有指针的检测框和类别信息，然后通过目标区域分割模块获取指针的检测框并从原始水表图像中截取感兴趣区域得到指针图像，最后将指针图像作为二值图像检测模块的输入，得到指针的二值图像连通区域；

步骤3.2：将样本水表图像中标注的指针区域和指针像素点作为标签，分别得到指针目标检测模块的目标检测损失、以及二值图像检测模块的二值图像检测损失；将目标检测损失和二值图像检测损失作为总损失，完成目标-二值图像检测模型的训练；

步骤4：实时获取水表图像，将实时图像作为训练好的目标-二值图像检测模型的输入，得到图像中指针的二值图像连通区域；

步骤5：提取所述二值图像连通区域的针尖坐标和质心坐标；计算所述的针尖坐标和质心坐标两点连线的实时偏转角度，并进行单位换算，完成指针读数。

2.根据权利要求1所述的基于目标检测和二值图像检测的水表指针读数识别方法，其特征在于，所述的步骤5中，以竖直方向0刻度为基准，所述的针尖坐标和所述的质心坐标构成一条直线，将直线与竖直方向之间的夹角作为实时偏转角度，由实时偏转角度乘以指针所对应的单位，最后得出指针的读数。

3.根据权利要求2所述的基于目标检测和二值图像检测的水表指针读数识别方法，其特征在于，将二值图像连通区域中距离质心最远的点坐标作为针尖坐标，指针所对应的单位由指针目标检测模块检测到的指针类别信息获得。

4.根据权利要求1所述的基于目标检测和二值图像检测的水表指针读数识别方法，其特征在于，所述的指针目标检测模块包括多尺度特征提取层、特征融合层、多尺度特征预测层；

所述的水表图像首先通过多尺度特征提取层获得不同尺寸的特征图；然后经特征融合层对不同尺寸的特征图进行融合，融合之后得到的特征图数量不变；最后经多尺度特征预测层获得每一个尺度特征图的一系列检测框、以及每一个检测框的坐标值和置信度，对所有的检测框进行筛选，将筛选后检测框的坐标值及其类别作为指针目标检测模块的最终输出。

5.根据权利要求1所述的基于目标检测和二值图像检测的水表指针读数识别方法，其特征在于，所述的对所有的检测框进行筛选，具体为：

1)预过滤：过滤掉置信度得分低于阈值的检测框；

2)去重：对预过滤后的检测框进行极大值抑制处理，去掉重复的检测框；

3)提取目标类别出现概率较高的检测框及其坐标值。

6.根据权利要求1所述的基于目标检测和二值图像检测的水表指针读数识别方法，其特征在于，所述的指针目标检测模块采用YOLOv4模型。

7.根据权利要求1所述的基于目标检测和二值图像检测的水表指针读数识别方法，其特征在于，所述的目标区域分割模块根据指针的检测框坐标值，从原始水表图像中截取感兴趣区域得到指针图像。