[发明专利]一种无监督语义分割模型的训练方法及相关装置

权利要求书

1.一种无监督语义分割模型的训练方法，其特征在于，包括：

获取训练数据集中的第一图像的特征图，并根据所述第一图像的类别集合对所述特征图进行聚类，得到所述特征图中的多个特征区域，其中所述类别集合用于指示所述第一图像中的多个对象的类别，所述多个特征区域中的每个特征区域对应于所述类别集合中的一个类别；

确定所述第一图像中与所述多个特征区域对应的多个图像区域；

将所述多个图像区域和描述所述类别集合的多个文本输入多模态模型，得到输出结果，所述输出结果用于指示所述多个图像区域中每个图像区域对应的类别，其中所述多模态模型用于执行图像和文本的匹配；

将所述第一图像输入语义分割模型，得到第一语义分割结果；

根据第一损失函数，对所述语义分割模型进行训练，以更新所述语义分割模型，其中所述第一损失函数是基于所述输出结果和所述第一语义分割结果构建的。

2.根据权利要求1所述的方法，其特征在于，所述多模态模型用于提取所述多个图像区域对应的多个图像特征以及所述多个文本对应的多个文本特征，并计算所述多个图像特征中的每个图像特征与所述多个文本特征之间的相似度，以得到所述多个图像区域中每个图像区域对应的类别；

其中，第一图像区域对应的类别为与第一图像特征相似度最高的文本特征所对应的类别，所述第一图像区域为所述多个图像区域中的任意一个图像区域，所述第一图像特征为所述多个图像特征中与所述第一图像区域对应的图像特征。

3.根据权利要求1或2所述的方法，其特征在于，所述训练数据集包括多个图像和多个类别标签，所述多个图像包括所述第一图像，所述多个类别标签用于指示所述多个图像中的对象的类别；

所述方法还包括：

将所述第一图像和所述多个类别标签输入所述多模态模型，得到第一图像的特征分别与所述多个类别标签中每个类别标签的特征之间的多个相似度；

根据所述多个相似度，确定所述第一图像的类别集合，其中所述类别集合包括多个目标类别，所述多个目标类别的特征与所述第一图像的特征之间的相似度均大于或等于预设阈值。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：

基于所述第一语义分割结果，获取第一掩膜图像和第二掩膜图像，所述第一掩膜图像仅包括所述第一语义分割结果中所指示的目标对象的图像，所述第二掩膜图像仅包括所述第一语义分割结果中除所述目标对象以外的图像，所述目标对象为所述第一语义分割结果中任意一个类别的对象；

将所述第一掩膜图像、所述第二掩膜图像以及所述目标对象对应的类别文本输入所述多模态模型，得到所述第一掩膜图像的特征与所述类别文本的特征之间的第一相似度，以及所述第一掩膜图像的特征与所述第二掩膜图像的特征之间的第二相似度；

所述根据第一损失函数，对所述语义分割模型进行训练，包括：

根据所述第一损失函数和第二损失函数，对所述语义分割模型进行训练，其中所述第二损失函数是基于所述第一相似度和所述第二相似度得到的。

5.根据权利要求4所述的方法，其特征在于，所述第一相似度与所述第二损失函数具有负相关的关系，所述第二相似度与所述第二损失函数具有正相关的关系。

6.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：

将所述第一图像输入降噪模型，得到第二语义分割结果，所述降噪模型的结构与所述语义分割模型的结构相同，且所述降噪模型的网络参数与所述语义分割模型的网络参数不同；

所述根据第一损失函数，对所述语义分割模型进行训练，包括：

根据所述第一损失函数和第三损失函数，对所述语义分割模型进行训练，所述第三损失函数是基于所述第一语义分割结果和所述第二语义分割结果得到的。