[发明专利]图像识别训练方法、装置、计算机设备及存储介质

说明书

本发明公开了一种图像识别训练方法、装置、计算机设备及存储介质，其中，该图像识别训练方法包括：基于实体类型的实体属性，构建对应的扩展属性；基于实体类型的实体属性以及扩展属性，对实体类型的已知类视觉特征进行语义一致性合成，获取实体属性和扩展属性分别对应的已知类合成特征；将已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，将已知类视觉特征对应的类原型和实体类型作为待训练分类模型的输出数据，对将待训练分类模型进行训练，并最终生成已训练分类模型。该方法可有效保持实体类型视觉特征与语义特征的一致性，保障训练稳定性的同时提高了零样本识别的准确性。

技术领域

本发明涉及图像分类技术领域，尤其涉及一种图像识别训练方法、装置、计算机设备及存储介质。

背景技术

传统的图像分类只能对训练集中出现过的类别样本进行分类，无法对训练集中未出现的类别样本进行分类。然而现实应用中，新的类别不断涌现，因而需要收集大量新类别带标记的数据，并重新训练分类器，这样费时费力，在某些领域甚至无法获取足够数量的新类别标注数据。针对该问题，零样本学习(Zero-Shot Learning，ZSL)应运而生。

零样本学习的目的是仅使用可见类样本的视觉特征和语义表示来训练模型，然后将未见类的语义表示作为桥梁，使模型具有识别未见类样本的能力。在零样本学习任务中，最主要的任务便是图像分类。零样本图像分类可以利用已有的图像样本来对新产生的图像样本进行标记，避免了以往的人工手动标注，减少了人力物力的消耗。零样本学习本质上是用迁移学习(Transfer Learning)的思想来解决问题的。即从一个域/任务/分布中学出一个有效的模型，然后迁移到新的域、任务或分布。通过零样本学习可以实现从可见类别到未见类别的“知识”迁移，这些可迁移的知识是由可见类别与未见类别的语义相关性得到的。

然而，用户对未见类别的语义定义和关联性信息记录不完整，缺乏可辨别性。当前大多数对未见类型的识别方法直接使用用户定义的语义信息作为生成未知模型的约束，这使得模型合成的视觉特征缺乏多样性和区分性。

发明内容

本发明实施例提供一种图像识别训练方法、装置、计算机设备及存储介质，以解决对未知类型进行识别的合成模型在视觉特征方面缺乏多样性和区分性的问题。

一种图像识别训练方法，包括：

基于实体类型的实体属性，构建对应的扩展属性；

基于实体类型的实体属性以及扩展属性，对实体类型的已知类视觉特征进行语义一致性合成，获取实体属性和扩展属性分别对应的已知类合成特征；

将已知类视觉特征、已知类合成特征、实体属性以及扩展属性作为待训练分类模型的输入数据，将已知类视觉特征对应的类原型和实体类型作为待训练分类模型的输出数据，对将待训练分类模型进行训练，并最终生成已训练分类模型。

优选地，基于实体类型的实体属性，构建对应的扩展属性，包括：

依次通过MSE损失和CE损失对已知类视觉特征进行特征分解，获取视觉区分特征；

通过triplet损失提取已知类视觉特征的类原型；

提取已知类视觉特征对应的实体属性，通过MSE损失对实体属性进行训练，以使实体属性分别和视觉区分特征和类原型对齐，并将训练结果作为实体类型对应的扩展属性。

优选地，待训练分类模型包括编码器和生成器；

基于实体类型的实体属性以及扩展属性，对实体类型的已知类视觉特征进行语义一致性合成，获取实体属性和扩展属性分别对应的已知类合成特征，包括：

将实体类型的实体属性、扩展属性以及已知类视觉特征输入编码器，获取噪音分布参数；

将噪音分布参数、实体类型的实体属性以及扩展属性输入生成器，获取实体类型的已知类合成特征。

优选地，该方法还包括：

采用二元交叉熵损失对已知类视觉特征和已知类合成特征进行比较。