[发明专利]一种管道环焊缝射线影像质量检查方法

权利要求书

1.一种管道环焊缝射线影像质量检查方法，其特征在于：基于深度学习和图像处理，包括预处理模块、深度学习模块、后处理模块和质量检查模块；

所述预处理模块读取数字化底片图像，将其转换为合适的格式和尺寸，进行图像增强、填充、归一化等，加入噪声、Mixup、Mosaic、颜色转换等，传送给深度学习模块；

所述深度学习模块包括主干网络子模块和图像分割子模块；所述主干网络子模块用于提取输入图像的多尺度特征，进行多层特征融合，将特征传送给图像分割子模块；所述图像分割子模块用于生成图像分割Mask以及Mask对应的置信度、偏移量等参数，并给出最终生成的分割结果；

所述后处理模块用于将深度学习模块给出的分割结果进行还原与处理，包括Mask尺寸还原，无用信息删除，Mask合并至原始图像，结果绘制等等，并将得出的结果规范化之后返回给系统；

所述质量检查模块根据后处理模块给出的检测结果，判断其中包含的可识别的像质计数量，再利用底片的像质计信息确定该底片的质量。

2.根据权利要求1所述的管道环焊缝射线影像质量检查方法，其特征在于：所述预处理模块的输出图像尺寸，根据实际图像尺寸及算法模型所需的输入尺寸确定。

3.根据权利要求1所述的管道环焊缝射线影像质量检查方法,其特征在于，包括如下步骤：

步骤1：图像数据预处理

步骤1.1：数据读取

所述数据包括图像原始dicom数据和图像数据；

根据原始图像dicom数据，取出其中的像素数据，根据其数据位数，将其转为无符号8位整数类型，得到待检测单通道灰度图像数据。

步骤1.2：数据预处理

在原始图像中使用矩形框标注出像质计部分，生成标注框及标签；原始标注中包含(x_min,y_min,x_max,y_max)，分别为矩形框左上角坐标值及右下角坐标值；标签内容为预先设定好，能够反应标注内容为像质计的简单文本；

根据已有的图像数据统计，由于图像的尺寸远大于深度学习模型可以接受的输入尺寸，因此将原始图像切片为尺寸更小的图像，图像切分时形状采用正方形，同时将切分的图像缩放至模型接受的尺寸；

步骤2：图像检测

步骤2.1：模型构建

将处理后的图像和标签送入算法模型中训练，训练使用GPU加速，可以显著提高训练速度；

算法模型采用图像分割的yolact模型，其中Backbone部分采用Resnet系，Resnet-50网络的Layer数为5，FLOPs为3.8×10⁹，可提供良好的图像特征提取能力；

Resnet网络的Layer1采用单层Conv 7×7，输出channel为64，输出尺寸为112×112，该层特征输出称为C1；Layer2采用Conv 1×1和Conv 3×3，输出channel为256，输出尺寸为56×56，该层特征输出称为C2；Layer3采用Conv 1×1和Conv 3×3，输出channel为512，输出尺寸为28×28，该层特征输出称为C3；Layer4采用Conv 1×1和Conv 3×3，输出channel为1024，输出尺寸为14×14，该层特征输出称为C4；Layer5采用Conv 1×1，Conv 3×3，输出channel为2048，输出尺寸为7×7，该层特征输出称为C5；从C1至C5，特征图分辨率依次降低，语义特征逐渐丰富；

使用C3、C4、C5经过Conv、下采样、双线性插值得到FPN中的P3、P4、P5、P6、P7；P3特征被送入Protonet，P3-P7被送入Prediction Head中进行并行计算；

Protonet输入为P3，经过Conv 3×3后，输出为138×138×32，此为生成的掩膜模板；输出的掩膜模板使用ReLU激活函数进行激活,增加模板的准确性；

Prediction Head的输入是P3-P7，每个特征图生成Anchor，每个像素点生成3个Anchor，比例是1:1、1:2和2:1；P3-P7的Anchor基本边长分别是24、48、96、192和384；基本边长根据不同比例进行调整，确保Anchor面积相等；每个Anchor生成4+c+k个系数，分别为4个bbox矩形框系数、c个类别置信度和k个Mask系数：

(x,y,w,h,conf₀,conf₁,...，conf_{c_1},m₀,m₁,...,m_{k_1}) (1)

其中，x，y，w，h为bbox矩形框系数，conf为类别置信度，m为Mask系数；

为了产生实例Mask，需要将掩膜模板和掩膜系数进行合成；采用前者与后者线性组合的方式，进行矩阵相乘：

M＝σ(PC^T) (2)

其中，P是h×w×k的掩膜模板，C是n×k的掩膜系数，表示有n个过滤后的实例，M为合成的掩膜；

Loss由分类损失、bbox边界框回归损失和mask损失三部分组成，其中分类损失使用softmax CE交叉熵，bbox边界框回归损失使用Smooth-L1 Loss，mask损失为预测mask和ground truth mask的逐像素二类sigmoid交叉熵；

Loss中大目标的面积较大，对最终Loss的影响要明显大于小目标；为了改善小目标的分割效果，在推理时会首先根据检测框进行裁剪，再进行阈值化处理；而在训练时，会使用实际标注标签的ground truth框来进行裁剪，并通过除以对应ground truth标注框的面积来平衡Loss尺度，增加小目标对Loss的影响程度；裁剪操作为模型增加了转移方差，增加了模型的位置预测精度。

为了进一步加速算法效率，以达到实时检测，在NMS非极大值抑制步骤使用Fast NMS算法，将NMS转为并行化的矩阵操作，直接求取全部矩形框之间的IoU，过滤掉IoU大于阈值的非极大置信度矩形框，来替代传统NMS的串行操作。如此改动，在算法精度仅有略微降低的情况下，使算法的整体时间消耗得到了有效控制，算法的检测效率达到实时性；

步骤2.2：模型训练

训练数据集使用工业射线底片图像，图像中的像质计经过人工标注，标签文件格式统一；使用上述数据集训练模型，硬件使用NVIDIA GPU加速，训练模型至可用，模型mAP@.5:.95为52.4；

AP＝∫p(r)dr mAP＝mean(∑AP) (3)

其中，p(r)为Precision-Recall曲线，AP为同一类别下，P-R曲线下的面积，mAP为所有类别AP的平均值；

步骤2.3：模型推理

使用训练好的模型进行推理，推理前，执行图像预处理中的图像切分步骤，将原始图像切分为小图，切分时相邻图像之间保留一定长度的重叠；其他预处理步骤仅适用于训练阶段，无须执行；

步骤3：算法后处理

图像经缩放后，需要还原至原始图像尺寸；图像分割生成的Mask需要根据图像缩放系数，进行对应的变换：

r＝w₀/w (4)

m₀＝resize(m,r) (5)

其中，w₀为原始图像的尺寸，图像为高宽相等的正方形；w为缩放后图像的尺寸，r为图像缩放比例，m为算法生成的mask，m₀为调整后的mask，resize为对m进行比例为r的插值变换；

由于原始工业底片图像已经经过了切分，因此还需将检测结果合并至原始图像中：

x₀＝(w-o)×i-b (6)

其中，x₀为当前切分后图像在原始图像中左上点坐标x值，w为切分后图像尺寸，o为切分后图像间重叠长度，i为当前切分图像索引最小值为0，b为原始图像左侧填充值；将图像按照所求x₀值放置在对应位置，即可将其合并至原图；

图像合并后，不同图像间检测结果mask可能出现重叠，造成重复检测；此处同样使用Fast NMS算法进行处理，将重叠的检测框中置信度不为最大的检测框去除，得到无重复的检测结果；最终得到的检测结果包括：检测框、框内实例的mask、对应的目标类别；

步骤4：质量检查

统计步骤3中检测出的像质计数量，结合底片的像质计信息，确定出底片中被算法识别的像质计丝号，由此得出该张被检测底片的质量信息。

4.根据权利要求3所述的管道环焊缝射线影像质量检查方法，其特征在于：步骤2所述的图像检测深度学习模型，模型训练和预测方法如下：

将标注完成的数据，分批次送入神经网络，所述数据包括预处理后的图像数据，与其对应的标签文件；标签文件中包括标注框，标注框中的实例mask，对应的类别编号；网络训练方式使用SGD梯度下降法，设置momentum加速模型优化；使用L2正则化控制模型拟合程度；损失函数由分类损失、边界框回归损失和mask损失三部分组；lr设定为0.01；模型训练300个epoch，全部数据训练完成计为一个训练epoch；

预测时，将待预测图像数据读取后，转为RGB三通道数据，根据上述预处理方式进行处理，送入模型推理，再经过后处理，得出最终预测结果。预测支持batch批量预测，可以提高预测速度。