[发明专利]类别描述的特征信息的获取方法、图像的处理方法及设备

说明书

本申请实施例公开一种类别描述的特征信息的获取方法、图像的处理方法及设备，该方法可用于人工智能领域的图像处理领域中，方法包括：获取与C个类别中每个第一类别对应的至少两个类别描述的特征信息；根据每个第一类别对应的至少两个类别描述的特征信息和图像的特征信息，生成图像的预测类别信息，图像的预测类别包括于C个类别；根据第一损失函数，对与每个第一类别对应的至少两个类别描述的特征信息进行更新。自动学习每个类别所对应的至少两个类别描述的特征信息，且迭代更新的目标包括提高预测类别信息和正确类别信息之间的相似度，有利于获得与识别任务更为匹配的类别描述，有利于提高与同一类别中的不同图像的适配度。

技术领域

本申请涉及人工智能领域，尤其涉及一种类别描述的特征信息的获取方法、图像的处理方法及设备。

背景技术

视觉语言模型(vision-language model)的最新进展指出，同一类别的图像的特征和语言描述的特征相似，因此，若需要从C个类别中确定图像中物体的类别，可以获取与C个类别中每个类别对应的类别描述，由于同一类别的文本形式的类别描述的特征和图像的特征类似，则可以借助每个类别的类别描述的特征来辅助对图像中物体的识别。

目前采用的方式是人工设计每种类别的类别描述模板，将人工设计的类别描述模板分别和类别名称组合得到类别描述。作为示例，例如人工设计的类别描述模板为“这是一只XXX”，类别名称为“猫咪”，则类别描述为“这是一只猫咪”。

但由于人工设计的类别描述模板会引入人为偏见，因此人工设计的类别描述模板对该图像识别任务来说不一定是最优的，且为了能够得到合适的类别描述模板，需要人工重复且耗时的对多个类别描述模板进行尝试。

发明内容

本申请实施例提供了一种类别描述的特征信息的获取方法、图像的处理方法以及相关设备，自动学习每个类别所对应的至少两个类别描述的特征信息，且迭代更新的目标包括提高图像识别任务的准确率，有利于获得与识别任务更为匹配的类别描述；还有利于提高与同一类别中的不同图像的适配度，以进一步提高图像识别过程的准确性。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种类别描述的特征信息的获取方法，可用于人工智能领域中图像处理领域中，方法包括：第一网络设备获取与C个类别中每个第一类别对应的K个类别描述的特征信息，C和K均为大于或等于2的整数，第一类别的类别描述包括类别描述模板和第一类别；作为示例，例如C个类别为C个不同品种的猫咪，K的取值为3，则3个不同的类别描述模板可以分别为“这是一只XX”、“这是一只猫咪，具体的品种是XX”和“这是一只品种为XX的猫咪”，第一类别的类别名称为“美短”，则与第一类别对应的3种不同的类别描述分别为“这是一只美短”、“这是一只猫咪，具体的品种是美短”和“这是一只品种为美短的猫咪”。

第一网络设备根据每个第一类别对应的K个类别描述的特征信息和图像的特征信息，生成图像的预测类别信息，预测类别信息指向的图像的预测类别包括于C个类别；具体的，第一网络设备获取训练图像的特征与目标特征信息集合中的C个类别中每个类别所对应的高层特征之间的相似度，根据第一损失函数，对与每个第一类别对应的K个类别描述的特征信息进行更新，直至满足收敛条件，利用第一损失函数进行迭代更新的目标包括提高预测类别信息和图像的正确类别信息之间的相似度。