[发明专利]图像识别方法、训练图像识别模型的方法及对应装置

权利要求书

1.一种图像识别方法，其特征在于，所述方法包括：

获取待识别图像；

利用图像识别模型确定所述待识别图像对应的图像类别；其中，所述图像识别模型提取所述待识别图像的视觉特征表示；利用所述待识别图像的视觉特征表示与属性词库中各属性词的特征表示进行匹配，得到所述待识别图像的融合特征表示，该融合特征表示包括所述待识别图像在各属性词上的置信度分布；

利用所述待识别图像的融合特征表示预测所述待识别图像对应的图像类别。

2.根据权利要求1所述的方法，其特征在于，利用所述待识别图像的融合特征表示预测所述待识别图像对应的图像类别包括：

利用所述待识别图像的融合特征表示与各图像类别的属性原型之间的距离，得到所述待识别图像对应的图像类别；

其中所述图像类别的属性原型是利用该图像类别的支持图像的融合特征表示得到的。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：针对各图像类别分别执行：

获取该图像类别的支持图像；

针对各支持图像，分别提取支持图像的视觉特征表示，并利用该支持图像的视觉特征表示与属性词库中各属性词的特征表示进行匹配，得到该支持图像的融合特征表示，该融合特征表示包括所述支持图像在各属性词上的置信度分布；

利用该图像类别的各支持图像对应的融合特征表示，得到该图像类别的融合特征表示作为该图像类别的属性原型。

4.根据权利要求1所述的方法，其特征在于，所述待识别图像的视觉特征表示包括所述待识别图像中各图块的视觉特征表示；

利用所述待识别图像的视觉特征表示与属性词库中各属性词的特征表示进行匹配包括：

分别计算各图块的视觉特征表示与属性词库中各属性词的特征表示之间的相似度，得到各属性词对应的相似度向量；

分别针对各属性词执行：将属性词对应的相似度向量与所述待识别图像的视觉特征表示进行交叉注意力处理，得到该属性词的视觉表示；利用该属性词的特征表示和视觉表示，得到所述待识别图像在该属性词上的置信度；

利用所述待识别图像在各属性词上的置信度，得到所述待识别图像的融合特征表示。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述图像类别包括不同的障碍物类别，或者不同的飞行器类别，或者不同的商品类别，或者不同的人物类别。

6.一种训练图像识别模型的方法，其特征在于，所述方法包括：

获取包含多个训练样本的训练数据，所述训练样本包括图像样本及其对应的图像类别标签；

利用所述训练数据训练图像识别模型，其中所述图像识别模型提取输入的图像样本的视觉特征表示；利用图像样本的视觉特征表示与属性词库中各属性词的特征表示进行匹配，得到图像样本的融合特征表示，该融合特征表示包括图像样本在各属性词上的置信度分布；利用图像样本的融合特征表示预测图像样本对应的图像类别；所述训练的目标包括：最小化所述图像识别模型预测的图像样本对应的图像类别与图像类别标签之间的差异。

7.根据权利要求6所述的方法，其特征在于，利用图像样本的融合特征表示预测图像样本对应的图像类别包括：

利用图像样本的融合特征表示与各图像类别的属性原型之间的距离，得到图像样本对应的图像类别；

其中所述图像类别的属性原型是利用该图像类别的支持图像的融合特征表示得到的。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：针对各图像类别分别执行：

获取该图像类别的支持图像；

针对各支持图像，分别提取支持图像的视觉特征表示，并利用该支持图像的视觉特征表示与属性词库中各属性词的特征表示进行匹配，得到该支持图像的融合特征表示，该融合特征表示包括所述支持图像在各属性词上的置信度分布；

利用该图像类别的各支持图像对应的融合特征表示，得到该图像类别的融合特征表示作为该图像类别的属性原型。