[发明专利]一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法

权利要求书

1.一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法，其特征在于，包括如下步骤：

步骤S1、利用无人机采集预定数量的建筑外墙图片，将采集的图片分别标注为有无裂缝两类样本，构建训练数据集；

步骤S2、采用包括直方图均衡化、双边滤波、中心随机裁剪的方式对建筑外墙图片进行预处理和数据增强；

步骤S3、建立基于注意力机制的ResNet深度残差神经网络建筑裂缝识别模型；所述步骤S3中，基于注意力机制的ResNet深度残差神经网络是由ResNet18网络和AM注意力机制模块组成，即将各AM注意力机制模块分别插入到ResNet18网络的中间四层中，其中AM注意力机制模块由通道注意力模块和空间注意力模块组成，AM注意力机制模块会沿着两个独立的维度，即通道和空间依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化；

步骤S4、将步骤S2处理好的数据放入步骤S3建立的模型中进行训练，得到初步的建筑裂缝识别模型；

步骤S5、采用梯度加权类激活热图算法，对各卷积层可视化，依据各卷积层对特征图的敏感区域的可视化结果，调整网络结构与网络参数，再重新训练初步的建筑裂缝识别模型，得到最优的建筑裂缝识别模型；

步骤S6、利用无人机新采集的建筑外墙图片构建检测数据集，采用直方图均衡化和双边滤波对其进行图像预处理，将预处理后的图片传入到最优的建筑裂缝识别模型中；对建筑外墙图片进行裂缝识别和模型分层可视化，并将图片识别结果和模型分层可视化结果进行输出。

2.根据权利要求1所述的一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法，其特征在于，所述步骤S2中的建筑外墙图片预处理和数据增强方法为：在建筑外墙图片RGB三个通道上分别做直方图均衡化，然后将这三个通道向量求和，得到信息量增强后的建筑外墙图片；采用双边滤波器对建筑外墙图片进行去噪，在不模糊图片的同时去除噪声点；按照设定比例范围，将图片中心随机裁剪为不同的大小和宽高比的图片，然后缩放所裁剪得到的大小为224*224的图像；按照给定的概率随机水平翻转给定的图像；按照给定的RGB三通道图像的均值和方差进行归一化。

3.根据权利要求1所述的一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法，其特征在于，所述步骤S5中，采用梯度加权类激活热图算法，对各卷积层可视化的具体步骤如下：

步骤S51、在得到初步的建筑裂缝识别模型后，计算网络最终层，即Softmax层之前的输出数值y^c对特征图上的各点像素的偏导数:

其中，y^c对应裂缝类别c的得分，是第k个特征图中(i,j)位置处的数值，A^k为最后一层卷积层输出的第k个特征图，i为每个特征图上各个像素点的宽序号和j为每个特征图上各个像素点的高序号；

步骤S52、把y^c对第k个特征图上的每个像素的偏导数求出来之后，取一次宽高维度上的全局平均池化，得到第k个特征图对应类别c的权重系数

其中，Z表示特征图的像素个数；

步骤S53、将权重系数与第k个特征图相乘，并用ReLU函数进行激活：

其中，ReLU函数的计算公式为：