[发明专利]一种针对大卷积核神经网络的优化方法

说明书

本发明涉及人工智能和深度学习技术领域，具体为一种针对大卷积核神经网络的优化方法，包括以下步骤：将大卷积核进行划分；特征拼接和归一化；将归一化后的输出与用于结构重参数化的深度卷积的输出进行相加；模型进行训练；模型推理时将5×5深度卷积与改进后的RepLKNet Block中的深度卷积结构进行结构重参数化进行融合；有益效果为：本发明提出的针对大卷积核神经网络的优化方法，通过结合Inception网络结构，将大卷积核拆分为若干深度卷积的并联结构，在保证大卷积核精度的前提下提升其训练速度。

技术领域

本发明涉及人工智能和深度学习技术领域，具体为一种针对大卷积核神经网络的优化方法。

背景技术

随着Transformer在自然语言处理领域中取得巨大的成就，许多研究人员尝试将其应用到计算机视觉任务中，例如DETR和Vision Transformer等模型。VisionTransformer的各种变体在广泛的计算机视觉领域任务中表现出色，甚至超越了传统卷积神经网络的性能。其中一个主要原因是多头自注意机制(multi-head self-attention)的引入。相对于卷积神经网络提取特征时仅能覆盖局部区域，多头自注意机制能够提供更大的感受野，从而获得更多的全局信息，具有更强的鲁棒性。

现有技术中，多头注意力机制能够更好地处理图像中的遮挡和旋转，因为它可以对不同区域的特征进行不同的注意力分配，从而更好地捕捉图像中的信息。此外，多头注意力机制还可以更好地处理长距离依赖关系，例如处理视频数据时，需要考虑不同数据帧之间的关系，多头注意力机制可以很好地捕捉这些关系。在某些Vision Transformer模型(例如Swin Transformer)的多头自注意力机制中，使用的大卷积核可能会覆盖整张图像，或者在局部区域内使用相对较大的卷积核，通常为16x16或32x32，来捕捉更多的信息。这样的设计可以使得每个多层注意力机制层的输出能够收集来自更广阔区域的信息，从而提高模型的感受野和特征提取能力。这种卷积操作在Vision Transformer模型中被称为“局部特征提取器”，可以有效地捕捉图像中的细节信息，提高模型的表现力和准确性。

并且，在传统的CNN中，通常使用堆叠的小卷积核(如3x3、1x1)来代替大卷积核，以减小计算量的同时实现大卷积同样的特征提取效果。然而，大卷积核的弊端可以通过使用深度卷积来解决。此外，使用残差连接和结构重参数化也可以使得大卷积核对于下游任务表现良好。事实上，大卷积核的设计可以大幅提升感受野，而感受野对于下游任务非常重要。此外，还可以为网络带来更多的形状偏置(模型倾向于在其表示中更多地考虑物体的形状信息的倾向性)，从而提高模型的表现能力，例如RepLKNet和ConvNeXt模型使用了7x7、13x13甚至31x31的大卷积核，其在目标检测和语义分割等任务上精度超过SwinTransformer而且远超传统小卷积模型。

但是，尽管深度卷积中使用大卷积核的FLOPs(计算量)很小，但实际上它会带来高内存访问成本，并可能成为GPU设备的计算瓶颈。另外，相对于小卷积核，大卷积核的计算速度会更慢，但是使用较小的内核大小会限制接收域，导致性能下降。

发明内容

本发明的目的在于提供一种针对大卷积核神经网络的优化方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种针对大卷积核神经网络的优化方法，所述优化方法包括以下步骤：

将大卷积核进行划分；

特征拼接和归一化；

将归一化后的输出与用于结构重参数化的深度卷积的输出进行相加；

模型进行训练；

模型推理时将5×5深度卷积与改进后的RepLKNet Block中的深度卷积结构进行结构重参数化进行融合。