[发明专利]一种基于表盘特征的指针表定位及读数方法

权利要求书

1.一种基于表盘特征的指针表定位及读数方法，其特征在于，指针表定位检测流程，其如下步骤，

(1)数据标定：定义标定json数据格式，匹配模板的类型，量程，以及读数需要的位置点标定和指针信息；

(2)SIFT匹配：提取SIFT特征，匹配步骤(1)中模板的SIFT特征，完成表盘的矫正，同时，修改步骤(1)的标定；

(3)预处理：对于步骤(2)存在清晰度问题的表盘，首先对输入图片预处理，包含图像增强，高斯滤波；

(4)基于颜色的指针检测：将步骤(3)获得的表盘，提取步骤(1)标定指针颜色区域，确定指针结束点；

(5)基于扫描的指针检测：将步骤(3)获得的表盘，二值化处理，并按照标定，以中心点为圆心，从起始线向终点线扫描，确定指针结束点；

(6)计算刻度值：根据步骤(4)和(5)获得的结束点，结合标定，求得角度比例值，最终求得指针的刻度值；

将SIFT特征匹配引入了指针表的目标定位中，并且提出改进的SIFT匹配，

其步骤如下，

(2.1)对模板及图像高斯模糊处理；

(2.2)对模板及图像的SIFT检测关键点及其对应的描述子；

(2.3)对步骤(2.2)获得检测关键点，Brute-Force特征匹配，采用knn算法，设k＝2，比率检测，比率值0.8；

(2.4)异常点数量过滤，得到新的检测关键点；

(2.5)模板和图像之间的转置矩阵M；

(2.6)利用转置矩阵M，通过透视变换，匹配表盘位置点；

(2.7)仿射变换将表盘矫正到水平方向；

步骤(2.4)中，异常点过滤，按以下方式进行：分别计算模板关键点之间距离，和图像关键点之间的距离，过滤两个距离之间差异过大的关键点；

预处理具体包括，

(3.1)对于反光强烈的表盘图像，采用直方图均衡，首先将RBG格式转为YUV格式，直方图均衡化拉伸像素强度分布范围，增强图像对比度；

(3.2)高斯滤波，过滤噪声点；

基于颜色的指针检测具体包括，

(4.1)去除表盘的外轮廓；

(4.2)定义指针颜色的HSV范围，在HSV格式图像中寻找符合指针颜色的区域；

(4.3)对步骤(4.2)获得的指针区域侵蚀、膨胀处理；

(4.4)计算指针区域的轮廓，过滤掉轮廓点数量小于5的轮廓；

(4.5)寻找所有轮廓点中距离标定中心点最远的坐标，为指针结束点；

基于扫描的指针检测具体包括，

(5.1)根据标定的起始点和中心点，求半径，高斯模糊处理，灰度化处理，自适应二值化处理；

(5.2)去除表盘的外轮廓和内轮廓，侵蚀，膨胀处理；

(5.3)二进制细化操作，提取二值化图像后表盘的骨架；

(5.4)根据标定量程起始点和终止点，和中心点位置确定扫描的起始角度和终止角度；

(5.5)在起始角度和终止角度之间扫描，间隔为1度，分别计算每条扫描直线的左右2度区间内点坐标，及该直线最远点；

(5.6)求得步骤(5.5)每个区间内，包含的二值化骨架像素点的和，找到和值最大的扫描直线，该直线的最远点即为指针的结束点；

计算刻度值具体包括，

(6.1)计算量程起始点和终止点与中心点的夹角；

(6.2)计算量程起始点与指针结束点与中心点的夹角；

(6.3)将上述两夹角的比值乘上总量程及得到最终读数，返回；

SIFT匹配流程具体为：

高斯过滤，内核设定为3*3，SIFT检测关键点；

Knn特征匹配，k＝2，返回k个最匹配的特征点，并基于第一个匹配的距离小于0.8*第二个匹配的距离，筛选特征点；

改进SIFT特征匹配，过滤异常点，过滤异常点后匹配情况更准确，具体算法如下：

模板关键点的距离矩阵M1，图像关键点的距离矩阵M2，大小为n*n，M1[i][j]为关键点i到关键点j的特征距离，diff为M1和M2距离矩阵的差的绝对值：

diff[i][j]＝|M1[i][j]-M2[i][j]|,i,j＝1,…,n；

从小到大排序得到Diff2，剔除Diff2中值最大的maxAbnormalNum＝15个异常值，首先，求距离矩阵distances，公式如下，

求距离均值averageDistance，公式如下，

保留distances矩阵中distances[i]＜2*averageDistance的特征点；

利用新的特征点求的模板与图像之间的转置矩阵M；

利用转置矩阵求的匹配模板的四个边界点，以及标定信息中的所有点的坐标；

根据新的坐标矫正表盘到水平方向，计算新的标定点，dst[1:4]为模板匹配到的四个矩阵点，宽的向量vector，

vector＝(dst[3][0]-dst[0][0],dst[3][1]-dst[0][1])

余弦值cos为，

需要旋转的角度angle，

获得旋转矩阵，通过仿射变换将表盘矫正到水平方向；

判断标定信息中1)中心坐标是否超出新的表盘空间，宽为W，高为H；2)量程起始坐标是否超出新的表盘空间，宽为W，高为H；3)量程终止坐标是否超出新的表盘空间，宽为W，高为H；若都未超出，则匹配点正确；

基于颜色指针检测流程具体为：

去除外轮廓效果；

匹配到的指针颜色区域，图中匹配的黑色区域HSV范围为下限[0,0,0]，上限[180,255,46]；

计算指针区域的轮廓，筛选轮廓点数小于5的轮廓；

计算距离中心点最远的轮廓点，与中心点连线，最终找到的指针位置；

基于扫描指针检测流程具体为：

高斯滤波处理；

自适应二值化，计算阀值的邻域大小17，常数C为11；

去除表盘的外轮廓R和内轮廓R/3，侵蚀，膨胀处理；

二进制细化；

根据标定计算起始角度startAngle和终止角度endAngle，扫描角度为[startAngle-10，endAngle+10]，每次angle增加1度，扫描度数区间为[angle-2，angle+2]，半径区间为[R/3，R]，分别求得个扫描区间包含的二进制细化的像素点和，像素和最大的扫描位置，即为指针位置；

计算刻度值流程如下，

已知量程起始点startPoint，终止点endPoint，指针结束点pointerPoint，表盘中心点centerPoint，量程起始值startValue，总量程totalValue，然后计算总量程的夹角angleRange，首先求得待计算夹角的两向量，向量A和向量B，公式如下，

vectorA＝(startPoint[0]-centerPoint[0],startPoint[1]-centerPoint[1])

vectorB＝(endPoint[0]-centerPoint[0],endPoint[1]-centerPoint[1])

计算vectorA和vectorB两个向量的长度，lenA和lenB，公式如下，

求向量A和向量B夹角的余弦值，利用反余弦函数，求得向量A和向量B的夹角，公式如下，

计算指针与初始位置的夹角angle，和上述方法相同，返回最终读数值value，公式如下，