[发明专利]一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法

权利要求书

1.一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，包括如下步骤：

步骤一：收集路面裂缝图像，对图像进行数据分析、数据清理与数据增广等操作，对裂缝图像进行分割标注并创建训练实例；

步骤二：根据数据分析所获得的先验知识，设计构建复杂多路卷积特征融合深度神经网络与不平衡损失函数，针对裂缝的不同特征进行差异性提取，再融合提取到的差异性特征用于预测分割标签；

步骤三：训练构建好的复杂神经网络，经过反复实验后得到性能优越的复杂深度神经网络；

步骤四：修改复杂神经网络分类层参数，使复杂神经网络推理软目标分割标签，并将软目标分割标签视作轻量化神经网络训练数据集的一部分；

步骤五：设计构造与复杂网络具有相似结构的轻量化多路卷积特征融合神经网络，使用差温知识蒸馏的模型训练方案让轻量化网络学习复杂神经网络的知识，从而使轻量化分割神经网络保持优良性能；

步骤六：对轻量化分割神经网络进行修剪与量化，进一步压缩网络。

步骤七：将训练得到的基于多路卷积特征融合的轻量化神经网络部署至嵌入式设备，连接摄像头并安置在移动智能小车上，执行快速自动化巡检路面裂缝任务。

2.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，在步骤一中，经过数据清洗构建的数据对不是单一的对应关系，而是一张原始图像对应四张真实标签的关系，并且四张真实标签的相似性会随着训练进程而发生改变。平面彩色图像的数学表达式可表示为I＝f(x,y,λ)，其中x表示空间x轴上的值，y表示空间y轴上的值,这两者表示像素的空间位置，λ表示波长，在彩色图像中一般指RGB三通道。标注图的数学图像可表示为L＝f′(x,y),标注图像不包含色彩信息，只包含相应区域的语义信息，0代表路面背景，1代表裂缝。为了适应不平衡损失函数，数据集构建的额外特征在于标注图像会在数据预处理中扩展为正反两种标签，在第一通道中0代表路面背景，1代表裂缝，在第二通道中1表示路面背景，0表示裂缝。这种处理方式是为了适应不平衡损失函数的运算要求。

3.根据权利要求1与2所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，数据集构建与不平衡损失函数的对应关系。不平衡损失函数将对标注图像不同的通道附加不同的权重值，从而突破单通道图像的限制，实现对不平衡类(背景与裂缝)进行控制。

其中Y_i代表原始标签，代表预测标签，w代表权重值，n代表样本数量。

4.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，步骤二中所提取到的先验知识为裂缝一般具有贯穿图像与长宽比大的特点。因此有针对性地设计了多路卷积，分别包括了普通卷积路径、膨胀卷积路径、长方卷积路径三种卷积路径，并在融合路径中融合所有特征信息。三条卷积路径的组成是相似的，都以编码器-解码器为主要的神经网络结构。以标准卷积路径的全程为例，其包含图像调整层(由填充层、卷积层、批标准化层与激活层组成，主要目的是调整输入数据的尺寸)、下采样层(由卷积层、批标准化层与激活层组成的卷积块堆叠而成，主要目的是对数据进行下采样与特征提取)、特征增强层(由填充层、卷积层、批标准化层与激活层通过残差连接组合的残差块堆叠而成，主要目的是对特征信息进行增强)、上采样层(由反卷积层、批标准化层与激活层组成的反卷积块堆叠而成，主要目的是对数据进行上采样与特征解码)、图像调整层(由填充层、卷积层组成，主要目的是调整输入数据的尺寸)、分类层(由注意力模块与归一化指数函数组成，目的是执行预测)。复杂多路卷积特征融合的神经网络的初始通道宽度设置为64，下采样层与上采样层均设置为2层，特征增强层设置为8层。