[发明专利]一种基于多知识融合的视觉学习方法

权利要求书

1.一种基于多知识融合的视觉学习方法，包括以下步骤：

构建视觉学习器，该视觉学习器包括多个卷积模块，Transformer模块、解码器和多知识融合模块，其中，各卷积模块的输入图像具有不同分辨率，并且各输入图像对应多种知识的每一种具有互补的遮掩区域，各卷积模块对多种知识对应的不同非遮掩区域进行相互独立的特征提取；所述Transformer模块针对未遮掩的特征进行相互独立的全局特征提取；所述解码器基于未遮掩的特征和掩码进行图像重建；

以设定的损失标准为目标预训练视觉学习器，在预训练过程中，利用所述多知识融合模块学习到的多种知识作为监督信号输入到所述解码器指导训练过程。

2.根据权利要求1所述的方法，其特征在于，对于所述多个卷积模块的输入图像，根据设定的互补掩码确定每种知识的遮掩区域，该互补掩码使得不同知识对应的可见区域在图像上互补。

3.根据权利要求2所述的方法，其特征在于，所述多种知识包括四种，所述多个卷积模块包括第一卷积模块和第二卷积模块，第一卷积模块的输入图像的分辨率是原始图像的1/4，第二卷积模块的输入图像是原始图像的1/8；将第二卷积模块的输出下采样到原始图像分辨率的1/16，并将四种知识对应的不同特征独立出来，利用对应的互补掩码拉平后进行遮掩，进而将未遮掩的特征送入所述Transformer模块，以针对四种知识进行相互独立的全局特征的提取，其中所述原始图像是指输入到所述视觉学习器的图像。

4.根据权利要求3所述的方法，其特征在于，第一卷积模块和第二卷积模块的层数设置为2层，卷积核大小设置为5*5，所述Transformer模块的层数设置为11层。

5.根据权利要求1所述的方法，其特征在于，所述解码器的浅层Transformer模块对所述多种知识的特征共享，所述解码器的深层Transformer模块对于不同知识间相互独立。

6.根据权利要求1所述的方法，其特征在于，所述多种知识包括语言-视觉的多模态的知识、不同图片间的判别性知识、历史动量知识和RGB像素知识。

7.根据权利要求6所述的方法，其特征在于，采用历史动量编码器学习所述历史动量知识，采用DINO模型学习所述不同图片间的判别性知识，采用CLIP学习所述语言-视觉的多模态的知识。

8.一种视觉学习器的应用方法，包括：

针对输入的目标图像，利用多个卷积模块以及根据权利要求1至6中任一项所述方法获得的经训练的Transformer模块提取不同尺度的特征，其中所述Transformer模块采用全局或局部注意力机制对特征进行增强；

将所述Transformer模块输出的特征进行下采样后，与所提取的不同尺度特征一起送入到检测网络或者分割网络，获得对应的检测结果或分割结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。