[发明专利]一种基于特定语义的图表示学习框架及其多标签分类方法

说明书

本发明公开了一种基于特定语义的图表示学习框架及其多标签分类方法，该框架包括：语义结耦模块，用于利用卷积神经网络对输入图像提取图像特征，将图像特征与语义特征相结合，并引入注意机制，利用语义特征引导图像特征权重的学习，并作用于图像特征，得到新的特征向量；语义交互模块，用于先通过构建知识图谱统计数据集中类别共存的关联性来构建大型知识图谱，再利用一个门图网络来对知识图谱进行特征表达，迭代的更新知识图谱得到知识图谱的特征表示；知识嵌入表达模块，用于将所述语义交互模块知识表达学习到的特征表示与所述语义结耦模块提取的图像特征学习相结合，以实现多标签分类。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种基于特定语义的图表示学习框架及其多标签分类方法。

背景技术

图像分类任务在日常生活中经常发生，其是根据图像的语义信息将不同类别图像区分开来，是计算机视觉中重要的基本问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。

多标签图像分类是计算机视觉中的基本但实际的任务，因为真实世界图像通常包含多个不同的语义对象。目前，它正在受到越来越多的关注，因为它支持基于内容的图像检索和推荐系统中的大量关键应用。除了处理角度，比例，遮挡，照明的复杂变化的挑战，预测多个标签的存在还需要挖掘语义对象区域以及对这些区域之间的关联和交互进行建模，使得多标签图像分类成为未解决的挑战任务。

用于多标签图像分类的当前方法通常采用对象定位技术或借助于视觉注意网络来定位语义对象区域。然而，对象定位技术搜索众多类别不可知和冗余的提议，很难被集成到深度神经网络中用于端到端训练，而视觉注意网络则由于缺乏监督或指导而仅仅粗略地定位对象区域。

目前，虽然RNN(Recurrent Neural Network，循环神经网络)/LSTM(Long ShortTerm Memory Network，长短时记忆网络)，进一步模拟语义区域之间的上下文依赖关系并捕获标签依赖关系，然而，RNN/LSTM顺序地模拟区域/标签依赖性，其不能完全利用该属性，因为在每个区域或标签对之间存在直接关联，此外，他们没有明确地模拟统计标签共现，这也是本发明帮助多标签图像分类的关键。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于特定语义的图表示学习框架及其多标签分类方法，通过设计语义结耦模块，利用类别的语义特征指导学习类别相关的特征，并构建一个基于统计标签共存的图形来关联该些特征并通过图形传播机制以促进多标签图像分类。

为达上述目的，本发明提出一种基于特定语义的图表示学习框架，包括：

语义结耦模块，用于利用卷积神经网络对输入图像提取图像特征，将图像特征与语义特征相结合，并引入注意机制，利用语义特征引导图像特征权重的学习，并作用于图像特征，得到新的特征向量；

语义交互模块，用于先通过构建知识图谱统计数据集中类别共存的关联性来构建大型知识图谱，再利用一个门图网络来对知识图谱进行特征表达，迭代的更新知识图谱得到知识图谱的特征表示；

知识嵌入表达模块，用于将所述语义交互模块知识表达学习到的特征表示与所述语义结耦模块提取的图像特征学习相结合，以实现多标签分类。

优选地，所述语义结耦模块进一步包括：

图像特征提取单元，用于利用卷积神经网络对输入图像提取图像特征；

语义特征提取单元，用于利用预训练的GloVe模型提取所采用数据集所有类别的类别语义特征；

特征向量获取单元，用于通过引入语义引导注意机制，利用所述语义特征提取单元获得的类别语义特征来引导学习特征权重，并作用于原图像特征形成新的特征向量。