[发明专利]一种基于计算机视觉的排水管道视频数据修复方法

权利要求书

1.一种基于计算机视觉的管道视频数据修复方法，其特征在于，包括以下步骤：

步骤(1)：携带高清摄像头管道机器人进入管道采集图像、视频信息，对采集到的管道图像、视频进行灰度拉伸；增强管道的对比度，使其明暗更加鲜明，特征更加明显，将输入图像中的每一个像素(x,y)的灰度值f(x,y)作为函数的自变量，H表示在空间域中对f(x,y)进行一个变换操作提升或降低其灰度值，由此得到的因变量作为输出图像中的灰度值g(x,y)，公式(1)具体如下：

g(x,y)＝H[f(x,y)] (1)

采用空域法的邻域平均法对灰度图像进行空间平滑滤波增强，消除真实的管道环境中因点光源造成的光线不均匀、局部高亮、金属反光等导致的轮廓带有的锯齿；邻域平均法中每个像素的权重是相等的，即假设各像素的重要性一致，公式(2)具体如下：

式中s为(x,y)邻域中像素坐标的集合，(i,j)为邻域像素坐标的坐标，M为集合s内像素的数量；

步骤(2)：提取数据中心的铁索当作目标识别的模板，经过图像的预处理后，在视频数据图像中心截取铁索图片；

步骤(3)：使用SIFT(尺度不变特征变换)角点检测算法，对所有数据进行目标检测，进而找到中心铁索处实现定位；

即尺度不变特征变换，是用于图像处理领域的一种描述；这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子；其具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰；

算法在构建尺度空间时候采取高斯核函数进行滤波，使原始图像保存最多的细节特征，经过高斯滤波后细节特征逐渐减少来模拟大尺度情况下的特征表示；L(x,y,σ)，定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)卷积运算；

L(x,y,σ)＝G(x,y,σ)*I(x,y) (4)

如公式(3)、(4)所示，*表示卷积运算，(x,y)表示图像的像素位置，m,n代表高斯模板的维度；σ是尺度空间因子，值越小表示图像被平滑的越少，相应的尺度也就越小；大尺度对应于图像的概貌特征，小尺度对应于图像的细节特征；

通过尺度不变性求极值点，需要利用图像的局部特征为给每一个关键点分配一个基准方向，使描述子对图像旋转具有不变性；对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像邻域窗口内像素的梯度和方向分布特征；梯度的模值m(x,y)和方向θ(x,y)如公式(5)(6)所示，其中L(x,y)函数与公式(4)的函数意义相同，定义为原始图像中的(x,y)点与一个可变尺度的二维高斯函数卷积运算，但在这里σ为固定值，不会随意更改，故将σ省略：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1)/(L(x+1,y)-L(x-1,y))) (6)

本算法采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点确定关键点方向；在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向；直方图的峰值方向代表了关键点的主方向，方向直方图的峰值则代表了特征点处邻域梯度的方向，以直方图中最大值作为关键点的主方向；为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80％的方向作为关键点的辅方向；使用角点检测对数据进行目标检测；

步骤(4)：在获得数据中心位置后，使用霍夫变换检测缆绳所在的位置；其主要原理是对于边缘的每一个像素点(x₀,y₀)，把可能经过它的所有直线f(x)＝kx+b其中(k表示直线斜率，b表示y轴截距)，映射到霍夫空间后选取合适位置；对于与x轴垂直的直线，斜率不存在无法表示，所以用参数方程表示，r＝x*cos(θ)+y*sin(θ)，其中(x,y)表示某一个边缘的像素点，r表示经过该点直线到原点的距离，θ表示r与x正轴的夹角，对于每个边缘点映射之后，在霍夫空间进行投票，每次有直线方程满足(r,θ)点，此处的像素值就加1；

步骤(5)：在步骤(3)、步骤(4)进行之后，已经得到了中心铁索的位置，以及两侧缆绳的位置，随后使用灰度值为0的像素将其覆盖，准备等待修复；

步骤(6)：使用Telea的FMM(基于快速行进修复算法)图像修复算法对数据进行修复。

快速行进修复算法是一种运行速度快，时效性强的图像修复方法；其基本思想是从破损区域的边缘像素开始逐渐向破损区内部像素推进并最终完成全部修复的过程；首先定义几个参数，定义Ω是图像的破损区域，定义为破损区域与完好区域接触的边界位置，快速行进的本质是求解Ω区域内所有的像素点到边界的距离T，并根据T的大小确定行进顺序，然后不断修复直到Ω内所有像素都被处理，对于一个上的破损点p，创建一个边界两侧宽度为ε的的区域B_ε(p)，在该区域内，根据所有已知的像素点q的灰度值计算出像素点p的灰度值的公式如下：

公式(7)中的R(q)与分别表示已知像素点q的灰度值与梯度值，显然需要代入B_ε(p)区域中所有完好点的参数计算出点p的灰度值；这些区域内完好的像素点在整个运算过程中所占的权值是不一样的，因此实际采用公式(8)的赋权计算公式来进行求解：

其中的w(p,q)表示像素的权值函数，用来确定领域B_ε(p)中各个像素的贡献大小；其结果参考了破损点p的等照度参数，同时也与两点之间的几何距离参数相关；这种处理方式在更新计算破损点p参数的过程中一定程度上保留了区域图像结构数据的顺延，函数的定义如公式(9)：

w(p,q)＝dir(p,q)*dst(p,q)*lev(p,q) (9)

其中dir(p,q)表示纹理方向约束，dst(p,q)表示几何距离约束，lev(p,q)表示水平集约束；其意义如下：dir(p,q)体现了点p与点q在纹理方向上的相关度，它们在纹理上越近似则权值越大；dst(p,q)体现了点p与点q之间几何距离的相关度，显然这个数值越小则权值越大；lev(p,q)体现了信息到达的影响，越靠近已知信息则权值越大；

三个约束条件如公式(10)所示：

其中d₀与T₀作为距离约束参数和水平集约束参数一般都设为1，dir(p,q)确保了越靠近法线方向，的已知像素点的贡献更大，N(p)表示p点的纹理方向，dst(p,q)确保了离破损点p更近的已知点在其灰度更新计算中所占权值更大，lev(p,q)确保了在同一个边界的外部离边界更近的已知点有更大贡献；

FMM算法的等照度线方向的更新是依据T域的计算获取的，为了保证从初始边界开始修复，并去除大量距离边界较远的无关内部像素的干扰，需要在初始边界两侧计算出一个距离域T，根据上述计算像素点p的灰度值是利用其领域B_ε(p)内的已知像素，则在T≤ε的限定范围内在边界区域的外部计算得到边界外部的点的集合-T_out，同样的在边界区域的内部计算得到边界内部点的集合T_in进行整个T域限定，这就保证了FMM的修复计算是在边界两侧宽度为ε的窄边上进行，则整个图像的T域定义为：

对于选取的领域B_ε(p)的大小ε的值，通常选取3-10个像素点效果较好，这样能在修复速度和修复效果之间取得平衡。