[发明专利]一种基于密集语义对比的自监督视觉模型预训练方法

权利要求书

1.一种基于密集语义对比的自监督视觉模型预训练方法，其步骤包括：

1)对于样本图像x_i，利用数据增强方法a对样本图像x_i增强后输入第一编码器网络分支得到基础特征然后将基础特征输入全局映射模块得到实例级特征将基础特征输入密集映射模块得到样本图像x_i中每一个像素点p_i的特征，即像素级特征利用数据增强方法b对样本图像x_i增强后输入第二编码器网络分支得到基础特征然后将基础特征输入全局映射模块得到实例级特征将基础特征输入密集映射模块得到样本图像x_i中每一个像素点p_i的特征，即像素级特征

2)基于和进行对比学习，得到实例判别损失L_ins；基于和进行对比学习，得到像素判别损失L_pix；

3)对于样本图像x_i中的任意一像素点p_i，根据该像素点p_i对应的正样本集计算邻居判别损失L_nei；

4)对数据增强方法a增强后的样本图像对应的像素级特征集合v^a执行聚类操作，获得K个聚类集群；对数据增强方法b增强后的样本图像对应的的像素级特征集合v^b执行聚类，获得K个聚类集群；然后对每个集群进行对比学习，计算聚类对比损失L_KM；

5)将损失函数L＝L_ins+L_pix+L_sem作为自监督视觉模型预训练的最终损失函数，对自监督视觉模型进行端到端的训练；其中L_sem为L_nei、L_KM或L_PM，L_PM表示对一个像素进行原型映射的损失。

2.如权利要求1所述的方法，其特征在于，其中，τ_ins代表实例级别的温度系数；s(,)是相似度函数，z_为除x_i自身之外的其他所有样本构成负样本集。

3.如权利要求1所述的方法，其特征在于，其中，τ_pix代表像素级别的温度系数，s(,)是相似度函数，v_-为来自于除x_i之外的其他图像的像素点构成负样本集。

4.如权利要求2或3所述的方法，其特征在于，a、b的相似度

5.如权利要求1所述的方法，其特征在于，

6.如权利要求1所述的方法，其特征在于，其中e_c为第c个集群的质心特征，为对像素级特征v^a进行聚类操作得到的第c个集群的质心特征，为对像素级特征v^b进行聚类操作得到的第c个集群的质心特征，τ_KM为集群级别的温度系数，e_-表示对像素级特征v^a进行聚类所得K个集群中除第c个集群之外的其他所有K-1个集群的质心。

7.如权利要求6所述的方法，其特征在于，l(v,q)＝∑_kq^klogp^k,其中，k是索引值，c^k表示K-分类器中第k个类别的权重，k’的取值范围为1～K，c^k’表示K-分类器中第k’个类别的权重。