[发明专利]基于判别性视觉属性的零样本识别方法及系统

说明书

本发明提供一种基于判别性视觉属性的零样本识别方法及系统，方法包括以下步骤：S1：构建稀疏编码模型，基于原特征域样本数据优化稀疏编码模型得到视觉特征到人工定义属性表示的原特征域变换关系；S2：引入分类错误代价项构建监督字典学习目标模型，提取原特征域判别性视觉属性集合；S3：基于原特征域变换关系及原特征域判别性视觉属性集合，构建目标特征域学习模型，挖掘目标特征域判别性视觉属性；S4：输入包含语义对象的待测图像，通过深度残差网络提取待测图像的深度视觉特征，并优化稀疏编码目标函数，得到待测图像视觉特征的语义属性表示。本发明能解决人工定义属性在识别时导致特征表示语义信息的匮乏问题，增强视觉特征表示的判别能力。

技术领域

本发明属于计算机视觉识别技术领域，具体涉及一种基于判别性视觉属性的零样本识别方法及系统。

背景技术

当今，图像及视频数据呈爆炸式增长，面对纷繁复杂的多媒体数据，如何有效的分析并理解其语义内容变得日趋重要。为了解决以上问题，计算机视觉识别技术便孕育而生。目前，在该领域内随着大规模视觉数据库的建立以及深度神经网络的广泛应用，视觉识别方法得到了迅速的发展，特别在视觉特征提取、强监督模型构建、数据驱动神经网络学习方面取得了较大的进步。然而，由于底层视觉数据与中高层语义信息间固有的语义鸿沟，当前对象识别算法在判别性特征提取、少量及零样本识别、跨特征域适应性等关键问题上仍进展缓慢。

针对当前计算机视觉识别技术的以上问题，近些年提出了基于零样本学习的视觉识别算法。区别于传统计算机识别技术，基于零样本的学习算法致力于识别训练过程中没有出现的新对象类别，该特性有效提升了视觉识别系统的可扩展性，其显著的优越性在于无需收集大量新出现对象类别的训练样本，较好解决了稀有对象类别训练数据的获取，以及实际应用中人工标注成本过高的问题。其次，基于零样本的机器学习机制，受启发于人脑的认知模式，通过已构建知识的迁移，实现具有差异性对象类别的识别。比如，小孩从未看见过斑马，但通过预先建立的一般马匹与斑马在皮肤纹理上的区别，便能很容易识别这种动物。由于以上零样本学习方法的优点，近年在计算机识别领域得到了广泛的关注及应用。

然而，当前基于零样本视觉识别方法的研究仍存在以下亟待解决的问题：首先，现有零样本学习方法往往仅借助人工定义的对象属性，忽视了判别性视觉特征的构建，以及知识迁移的域适应性，该人工定义属性虽具有语义描述性，但其在视觉空间中的判别性、以及描述语义对象类别的完备性难以保证，导致了特征表示语义信息的匮乏、视觉特征语义表示判别能力的降低。另外，由于新出现对象类别与原对象类别属于不同特征域，在当前零样本识别算法中缺乏跨特征域模型的研究，进而造成知识的无效迁移，最终不能有效识别新对象类别。

发明内容

有鉴于此，本发明的目的之一在于提供一种基于判别性视觉属性的零样本识别方法，该方法能解决人工定义属性在识别时导致特征表示语义信息的匮乏问题，实现视觉特征空间与语义嵌入空间的联合，增强视觉特征表示的判别能力。

为实现上述目的，本发明的技术方案为：一种基于判别性视觉属性的零样本识别方法，包括以下步骤：

S1：构建稀疏编码模型，基于原特征域样本数据优化所述稀疏编码模型得到视觉特征到人工定义属性表示的原特征域变换关系；

S2：引入分类错误代价项构建监督字典学习目标模型，提取原特征域判别性视觉属性集合；所述监督字典学习目标模型为：

其中，表示原特征域判别性视觉属性集合，为视觉特征F_s在上的语义属性表示，为中的一个子集，为分类错误代价项，即对应于第i个对象类别的语义属性表示，C_s为原特征域对象类别的总数，w_i、b_i为分类错误代价项的参数，λ₁、λ₂为权重系数，区别于标准稀疏字典学习模型，发明方法目标函数中引入了分类错误代价项借助图像数据的监督信息，有效挖掘数据集内具有判别性的视觉属性；