[发明专利]基于ViT的深度学习神经网络数据增强方法

权利要求书

1.一种基于ViT的深度学习神经网络数据增强方法，其特征在于，包括如下步骤：

S1、假定A是输入的图像，y_A是输入图像A的标签，将y_A的权重λ设置为位于A中的注意图的权重之和；

S2、TransMix在注意图的指导下分配混合标签，所述注意图明确定义为多头类attentionA，按照CutMix的输入混合过程进行；

S3、将原始的M从H、W转换为相应的像素区域，网络可以学习到根据每个数据点在注意力图中的响应动态地重新分配标签的权重，所述M为图像位置的二进制的掩码，所述H、W分别为图像的高和宽；

S4、数据集使用ImageNet-1k，所述ImageNet-1k包含1.28M训练图像和50k验证图像；

S5、图像分类模型选用DeiT-T、PVT-T、XCiT-T，其中，模型DeiT-T、PVT-T训练300轮，模型XCiT-T训练400轮，热身轮数为20轮；

S6、本方法实现过程的pytorch伪代码如下：

H,W:theheightandwidthoftheinputimage

p:numberofpatches

M:0-initializedmaskwithshape(H,W)

downsample:downsamplefromlength(H*W)to(p)

(bx1,bx2,by1,by2):boundingboxcoordinate

for(x,y)inloader:loadaminibatchwithNpairs

CutMiximageinaminibatch

M[bx1:bx2,by1:by2]＝1

x[:,:,M＝＝1]＝x.flip(0)[:,:,M＝＝1]

M＝downsample(M.view(-1))

#attentionmatrixA:(N,p)

Logits,A＝model(x)

#Mixlabelswiththeattentionmap

Lam＝matmul(A,M)

y＝(1-lam)*y+lam*y.flip(0)

CrossEntropyLoss(logits,y).backward()。

2.根据权利要求1所述的基于ViT的深度学习神经网络数据增强方法，其特征在于，S1步骤中，所述标签根据每个像素的显著性重新加权，而不是按照混合输入的相同比例线性插值。

3.根据权利要求1所述的基于ViT的深度学习神经网络数据增强方法，其特征在于，S2步骤中，所述混合过程的混合公式如下：

式中，M∈{0，1}^H，W代表表示二进位掩码，表示从两幅图像中抽取和填充的位置，1为二进位掩码，*代表元素相乘，λ为混合标签中的比例，代表训练样本。

4.根据权利要求3所述的基于ViT的深度学习神经网络数据增强方法，其特征在于，S2步骤中，在增强过程中，将一个随机采样的区域X_B移除，并用X_A裁剪的区域填充，裁剪区域的边界框坐标为(r_x，r_y，r_w，r_h)。混合目标分配系数λ等于裁切面积比

5.根据权利要求1所述的基于ViT的深度学习神经网络数据增强方法，其特征在于，S3步骤中，所述注意力图的输入集中程度与混合标签获得更高的值响应成正比，具体如下公式：

λ＝A·↓(M)

式中，↓表示最近邻插值下采样。

6.根据权利要求1所述的基于ViT的深度学习神经网络数据增强方法，其特征在于，所述步骤S4的实现基于Timm库。

7.根据权利要求1所述的基于ViT的深度学习神经网络数据增强方法，其特征在于，步骤S5中，在部署DeiT训练方案时，所有基线都包含正则化方法，包括RandAug、StochasticDepth、Mixup和CutMix，不使用重复增广的方法；TransMix与CutMix共享相同的裁剪区域作为图像的输入，而标签的分配是这两种方法的平均值。