[发明专利]一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法

权利要求书

1.一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法，其特征在于：包括以下步骤：

步骤一、通过图像采集装置采集多张集障碍物图片后，另采集多张含有障碍物的裂缝图片，将所述障碍物图片添加标签后输入Faster-RCNN中进行训练；

通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图片进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；

步骤二、通过图像采集装置采集多张无障碍物的裂缝图片，通过将每张图片翻转后以扩增无障碍物的裂缝图片的数据集；

步骤三、将扩增后的无障碍物的裂缝图片输入深度卷积对抗式生成网络训练裂缝生成模型；

步骤四、将所述识别率大于百分之九十的含有障碍物的裂缝图片的障碍物所在位置进行信息擦除，得到受损图像；

步骤五、将所述受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像；所述循环判别修复模型以所述已训练完成的裂缝生成模型为网络框架。

2.根据权利要求1所述的方法，其特征在于：所述步骤五的具体步骤为：

步骤5.1，构造值在[-1，1]区间内随机分布的与所述含有障碍物的裂缝图片数量相同的维数的随机向量Z(n)＝{Z⁽¹⁾,Z⁽²⁾,...,Z⁽ⁿ⁾}，n为正整数，通过所述已训练完成的裂缝生成模型的生成器G对随机向量Z(n)进行生成，输出生成向量G(z)；

步骤5.2，将所述生成向量G(z)和受损图像均覆盖相同的距离加权修复掩膜，并计算加权语义损失L_s:

其中，M_d为加距离加权修复掩膜，x为受损图像；步骤5.3，将所述生成向量G(z)输入到所述已训练完成的裂缝生成模型的判别器D中得到感知损失L_p＝log(1-D(G(z)))；

步骤5.4，将所述感知损失与语义损失加权求和，和值最小的真向量为最优向量再将最优向量覆盖反向距离加权修复掩膜

步骤5.5，将所述覆盖反向距离加权修复掩膜的最优向量与所述受损图像拼接得到拼接修复图像，将拼接修复图像输入所述判别器D中进行再判别，且得到全局损失

其中L_g为全局损失，M_d为距离加权修复掩膜，为反向距离加权修复掩膜；

步骤5.6，根据公式(1)得到联合损失：L＝L_s+λL_p+μL_g (1)；

L为联合损失，λ为感知参数，μ为全局参数，L_s为加权语义损失，L_p为感知损失，L_g为全局损失；

将所述联合损失输入所述生成器G，生成器G根据联合损失对最优向量

步骤5.7，重复步骤5.1至步骤5.6，多次迭代完成后获得修复后的裂缝图像。

3.根据权利要求2所述的方法，其特征在于：所述距离加权修复掩膜M_d通过公式(2)计算：

所述为反向距离加权修复掩膜通过公式(3)计算：

其中，x表示受损图像，i表示受损图像矩阵对应行，j表示受损图像矩阵对应列，点p表示受损图像受损区域的中心点位置，x_ij表示受损图像当前像素点位置，M表示障碍物位置标定矩阵，M_ij表示障碍物位置标定矩阵内位置为(i，j)的对应点。

4.根据权利要求1-3任一所述的方法，其特征在于：所述步骤三中所述裂缝生成模型包括判别子模型和生成子模型，所述判别子模型采用六层卷积层，且顺次的第一至第五层卷积层每层卷积层均采用大小为5*5的卷积核，第六层卷积层采用大小为1*1的卷积核；

所述生成子模型包括五层反卷积层，且每层反卷积层均采用大小为5*5的卷积核。

5.根据权利要求4所述的方法，其特征在于：步骤一的具体步骤为：

步骤1.1通过图像采集装置采集多张障碍物图像后，将障碍物图像添加标签后输入Faster-RCNN中进行训练；

步骤1.2另采集多张含有障碍物的裂缝图像，通过训练完成的Faster-RCNN对多张含有障碍物的裂缝图像进行障碍物位置标定，并记录单张含有障碍物的裂缝图片的识别率；

障碍物位置标定的障碍物标记矩形框的校准阈值T(θ)为：

其中accuracy为Faster-RCNN的单张图像识别准确率，当T(θ)＝1时，则获取障碍物标记矩形框顶点坐标，当T(θ)＝0.5时，则对障碍物标记矩形框上下左右均向外扩展10个像素点，当T(θ)＝0表示标定失败，则人工进行碍物标定。