[发明专利]基于ViT的深度学习神经网络数据增强方法

说明书

本发明提供一种基于ViT的深度学习神经网络数据增强方法，S1、假定A是输入的图像，S2、TransMix在注意图的指导下分配混合标签，S3、将原始的M从H、W转换为相应的像素区域，S4、数据集使用ImageNet‑1k，S5、图像分类模型选用DeiT‑T、PVT‑T、XCiT‑T，S6、引入实现过程的pytorch伪代码，本方法简单易行且不会对模型引入任何额外参数，使训练的难度减小，本方法可以根据每个像素的显著性重新加权，不需要额外的参数和最小的计算开销；应用的TransMix是基于ViTs的注意地图混合标签，它可以弥补输入空间和标签空间之间的差距。

技术领域

本发明涉及机器视觉技术领域，具体涉及一种基于ViT的深度学习神经网络数据增强方法。

背景技术

Vision Transformer在自然语言处理的几乎所有任务中都占主导地位。近期它也已被引入计算机视觉领域，并在图像分类、目标检测和图像分割等任务中显示出巨大的前景。比如申请公布号为CN113239981A的局部特征耦合全局表征的图像分类方法中，建立的网络模型包括卷积神经网络分支、视觉转换器分支、启动模块，构建了对偶网络结构，针对性的保留、增强局部特征和全局表征。

最近的研究发现，基于Vision Transformer的网络很难优化，并且在训练数据不足的情况下很容易过拟合。MixUp和CutMix被引入解决这个问题，但是存在背景中的像素对标签空间的贡献大小的问题，通过在混合输入层面来解决像素对标签空间的贡献大小，但是存在参数量大和难训练的问题，因此需要新的方法来解决像素对标签空间的贡献大小。

现多数技术研究人员由于技术的原因，通过在混合输入层面上最具描述性的部分来解决它，而这些解决的方法存在以下问题：(1)它们往往较少考虑将背景图像放入混合中，造成提取的图像特征不明显；(2)参数量大，训练的难度会加大。

发明内容

本发明提供一种基于ViT的深度学习神经网络数据增强方法，针对背景技术中提到的技术问题，本发明提供了全新的解决思路及具体方案。

包括如下步骤：

S1、假定A是输入的图像，y_A是输入图像A的标签，将y_A的权重λ设置为位于A中的注意图的权重之和；

S2、TransMix在注意图的指导下分配混合标签，所述注意图明确定义为多头类attentionA，按照CutMix的输入混合过程进行；

S3、将原始的M从H、W转换为相应的像素区域，网络可以学习到根据每个数据点在注意力图中的响应动态地重新分配标签的权重，所述M为图像位置的二进制的掩码，所述H、W分别为图像的高和宽；

S4、数据集使用ImageNet-1k，所述ImageNet-1k包含1.28M训练图像和50k验证图像；

S5、图像分类模型选用DeiT-T、PVT-T、XCiT-T，其中，模型DeiT-T、PVT-T训练300轮，模型XCiT-T训练400轮，热身轮数为20轮；

S6、本方法实现过程的pytorch伪代码如下：

H,W:theheightandwidthoftheinputimage

p:numberofpatches

M:0-initializedmaskwithshape(H,W)

downsample:downsamplefromlength(H*W)to(p)

(bx1,bx2,by1,by2):boundingboxcoordinate

for(x,y)in loader:loadaminibatchwithNpairs