[发明专利]一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法

说明书

本发明涉及一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法：步骤一、采集多张集障碍物图片后添加标签输入Faster‑RCNN中进行训练；采集多张含有障碍物的裂缝图片并通过Faster‑RCNN对进行障碍物位置标定；步骤二、采集多张无障碍物的裂缝图片通过翻转后以扩增数据集；步骤三、将扩增后数据集输入生成式对抗网络训练裂缝生成模型；步骤四、含有障碍物的裂缝图片的障碍物所在位置进行信息擦除得到受损图像；步骤五、将受损图像输入循环判别修复模型进行迭代后获得修复后的裂缝图像。本发明可准确地检测和去除裂缝图片中的障碍物信息，修复后的裂缝图像较之前峰值信噪比提升了0.6～0.9dB，从而实现了在有限的裂缝数据集条件下，生成大量还原度较高的裂缝图像。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法。

背景技术

随着交通运输业的发展，公路的养护工作变得十分的重要。桥梁作为当今社会交通枢纽的重要组成部分，不仅承担着运输重任还关系着运输人员的安危，但由于桥梁结构在长期使用中难免产生各种各样的损坏，造成桥梁结构抗力衰减和安全隐患，因此定期的检查和维护是必不可少的。裂缝是桥梁最常见的缺陷。桥梁裂缝产生的原因多种多样，主要是由于沥青路面的疲劳，同时还有不利的大气条件，可能导致材料收缩，或由于沥青混合物质量差或由于沥青混合料的弱点结构路面阻力。桥梁路面缺陷的检测是后续维护和修理的前提。为了进行桥梁裂缝的检测和修补，需要定期地拍摄桥梁缺陷图像。

近几年，在物体检测和识别方向上取得重要成果的深度学习也逐渐被用到了桥梁裂缝的检测中。要训练一个对各种形式的裂缝识别精度都很高的神经网络，前期需要大量的数据作为支撑。受桥梁周围环境及采集条件如光照、相机拍摄角度及分辨率等因素的影响，采集到的图像中有很多障碍物会影响到裂缝的检测，因而取材难度大大增加。因此对原图像去除遮挡物变得十分有意义。由于人工手动对图像中含障碍物的区域擦除后再进行图像缺失部分补全的方式效率低，因此研究采用计算机视觉的方式自动进行障碍物图像的补全具有重要的应用前景。图像的补全属于图像修复的一种形式，其修复对象是纹理信息有部分缺失的图像。近年来国内外在此领域也开展了诸多相关研究。期刊ACM在2000年PP417–424页中发表了Bertalmio et al.的Image Inpainting中提出图像修复这一词；期刊IEEETransactions on Image Processing在2003年PP882-889中发表的Simultaneousstructure and texture image inpainting提出采用偏微分方程的方法进行图像修复，但是该算法缺少稳定性，修复结果往往不佳；随后2001年期刊SIAM Journal on AppliedMathematics在PP1019-1043发表的Mathematical models for local non-textureinpaintings是由Chan等人在此基础上提出基于能量最小化原则的统一修复模型，但由于该模型受到修复区域大小的限制，且不满足连续性原则，进而又于2001年在发表在期刊Journal of Visual Communication and Image Representation的PP436-449的文章Non-texture inpainting by curvature-driven diffusions(CDD)中提出一种基于曲率扩散模型，只是以上算法均只适用于非纹理图像的修复，当所需修复的图像是纹理图像时则没有办法完成修复任务；因此，criminisi等人于2004年在期刊IEEE Transactions on ImageProcessing.的PP1200-121上发表的Region filling and object removal by exemplar-based image inpainting将偏微分方程和纹理信息结合起来，提出基于样本块的图像修复算法，该算法以块为修复单位，可以保留图像的纹理特性，但该算法将两部分内容结合修复较慢，且无法修复含大型连续区域缺失的图像，Raymond Yeh等人在2016年提交到会议Computer Vision and Pattern Recogntion，连接为https://arxiv.org/abs/1607.07539的网络文章Semantic Image Inpainting with Perceptual and Contextual Losses中提出用深度卷积对抗式生成网络的方法进行图像修复的方法，并给出了使用二进制掩码的概念使得通过训练有素的网络实现对破损图像的纹理特征和语义进行修复成为可能，但由于二进制掩码的不可变性使得所有的像素点在图像修复过程中对修复区域贡献相同，这使得修复结果往往不稳定。