[发明专利]一种基于多知识融合的视觉学习方法

说明书

本发明公开了一种基于多知识融合的视觉学习方法。该方法包括：构建视觉学习器，该视觉学习器包括多个卷积模块，Transformer模块、解码器和多知识融合模块，其中，各卷积模块的输入图像具有不同分辨率，并且各输入图像对应多种知识的每一种具有互补的遮掩区域，各卷积模块对多种知识对应的不同非遮掩区域进行相互独立的特征提取；所述Transformer模块针对未遮掩的特征进行相互独立的全局特征提取；所述解码器基于未遮掩的特征和掩码进行图像重建；以设定的损失标准为目标预训练视觉学习器，在预训练过程中，利用所述多知识融合模块学习到的多种知识作为监督信号输入到所述解码器指导训练过程。本发明提高了预训练效率，并且可适配到更广泛的下游任务。

技术领域

本发明涉及计算机视觉技术领域，更具体地，涉及一种基于多知识融合的视觉学习方法。

背景技术

掩码自动编码器是指在计算机视觉骨干网络的预训练中，利用随机掩码将图像的一部分进行掩盖，利用编码器学习未被掩盖部分的特征，然后根据这些特征学习恢复出被掩盖的图像特征。利用掩码自动编码器(MaskAutoencoder，MAE)来进行视觉特征的预训练学习已经在各种视觉任务中取得了很好的性能。

自监督预训练已经成为视觉特征学习的新范式，并且通过其强大的视觉表征能力提升了各种视觉任务的性能。除了DINO、MOCO-V3等对比学习的自监督方法之外，掩码自动编码器(MaskAutoencoder-MAE)也表现出了很有潜力的性能，并且启发了一系列后续针对其性能改进的工作，例如ConvMAE、HiVIT、MixMIM等。MAE的自监督学习是受自然语言处理中BERT模型的启发，它将图片的一部分区域用随机掩码遮挡，然后利用未被遮挡的部分来重建掩码区域的像素值，通过这种方式使得网络学习到图片的低层次语义信息。然而，现有技术中，缓慢的预训练收敛速度和巨大的计算资源开销很大程度上制约了MAE的进一步发展和应用。具体来说，预训练基于视觉Transformer网络的MAE需要800个周期，并花费两千个显卡小时，而后续的ConvMAE需要1600个周期和四千个显卡小时。

因此，有必要提供新的技术方案来加速预训练时间并降低计算资源的开销。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于多知识融合的视觉学习方法。

根据本发明的第一方面，提供一种基于多知识融合的视觉学习方法。该方法包括以下步骤：

构建视觉学习器，该视觉学习器包括多个卷积模块，Transformer模块、解码器和多知识融合模块，其中，各卷积模块的输入图像具有不同分辨率，并且各输入图像对应多种知识的每一种具有互补的遮掩区域，各卷积模块对多种知识对应的不同非遮掩区域进行相互独立的特征提取；所述Transformer模块针对未遮掩的特征进行相互独立的全局特征提取；所述解码器基于未遮掩的特征和掩码进行图像重建；

以设定的损失标准为目标预训练视觉学习器，在预训练过程中，利用所述多知识融合模块学习到的多种知识作为监督信号输入到所述解码器指导训练过程。

根据本发明的第二方面，提供一种视觉学习器的应用方法。该方法包括：

针对输入的目标图像，利用多个卷积模块以及上述经训练的Transformer模块提取不同尺度的特征，其中所述Transformer模块采用全局或局部注意力机制对特征进行增强；

将所述Transformer模块输出的特征进行下采样后，与所提取的不同尺度特征一起送入到检测网络或者分割网络，获得对应的检测结果或分割结果。

与现有技术相比，本发明的优点在于，通过增加多种重建任务，将各种不同模型产生的语义知识注入到网络学习的过程中，使网络学习到更加多样性的信息，并利用互补掩码将不同的知识重建目标对应到互补的未被遮挡的图像区域。本发明提高了预训练效率，并且可适配到更广泛的下游任务。