[发明专利]一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法

权利要求书

1.一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法，其特征在于，包括以下步骤：

步骤1、基于收集到的织物图像并进行疵点的标记，记录下织物图像中疵点所在位置与种类，并将标记后的织物图像划分为训练集与测试集；

步骤2、将训练集中的训练样本输入到设计好的Swin-Transformer模块中进行特征提取，得到不同层次的特征图；

步骤3、利用NAS-FPN对步骤2得到的不同层次的特征图进行融合，得到融合后的特征图；

步骤4、将步骤3得到的融合后的特征图输入RPN网络得到疵点建议框；

步骤5、结合步骤3得到的特征图与步骤4得到的疵点建议框进行最终疵点位置的回归与疵点类型的分类，得到每个训练样本的最终疵点检测结果，利用检测结果与样本上标记的疵点位置和种类计算差异值，并计算损失函数，根据损失函数调整步骤1-3中各网络模块的参数，训练完毕后得到织物疵点检测模型；

步骤6、将步骤1中的测试集输入织物疵点检测网络模型中，得到图像中的目标疵点及位置坐标，并在图像中进行标记。

2.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于，所述步骤2中设计的Swin-Transformer模块包括一个区域划分模块和特征提取模块，所述区域划分模块用于将输入的图像划分为多个不重叠的小块；所述特征提取模块用于对划分后的图像进行多尺度特征提取，所述特征提取模块包括阶段一、阶段二、阶段三和阶段四：

阶段一用于提取浅层特征，包括一个线性嵌入层与2个连续的Swin-TransformerBlock，Swin-Transformer Block是一个经过修改的自注意力模块，修改方式为将Transformer中的标准多头自注意力模块替换为基于移动窗口的模块，其他层保持不变，在每个MSA模块和每个MLP之前应用一个LayerNorm层；

阶段二用于提取中层特征，包括一个区域融合模块与两个连续的Swin-TransformerBlock，区域融合模块通过融合相邻的小块得到分层特征；

阶段三由一个区域融合模块与6个Swin-Transformer Block组成；阶段四由一个区域融合模块与2个Swin-Transformer Block组成；阶段三、四用于提取深层次的特征。

3.根据权利要求2的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于，所述Swin-Transformer Block用于利用基于移动窗口的模块将一个8×8的特征图均匀的划分成4×4的大小，然后，下一个模块在上一个模块的配置上使窗口滑动，通过用个像素来代替常规分区的窗口。

4.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于，步骤3中，特征融合的方式是使用神经架构搜索的方式来得到最优的融合方法。

5.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于，步骤4中，融合后的特征图输入RPN网络后，经过一个卷积层，分为两个分支，一个分支通过Cx2通道大小为1的卷积代表C个建议框的前景背景概率，另外一个分支通过Cx4通道大小为1的卷积代表C个建议框的坐标值，其中建议框的初始比例值根据训练集图片中疵点的长宽比分布情况确定，将两个分支的输出数据进行结合得到多个疵点建议框。

6.根据权利要求1的基于Swin-Transformer与NAS-FPN的织物疵点检测方法,其特征在于，步骤5中的分类方法是将输入数据输入全连接层、卷积层和全连接层之后分为两个并行的分支，一个分支连接全连接层之后对疵点的位置坐标进行回归，另一个分支则是通过全连接层之后经过Softmax函数得到疵点的种类，将两个分支的输出数据进行结合得到检测得到的最终疵点位置和对应种类。