[发明专利]一种基于特定语义的图表示学习框架及其多标签分类方法

权利要求书

1.一种基于特定语义的图表示学习框架，包括：

语义结耦模块，用于利用卷积神经网络对输入图像提取图像特征，将图像特征与语义特征相结合，并引入注意机制，利用语义特征引导图像特征权重的学习，并作用于图像特征，得到新的特征向量；

语义交互模块，用于先通过构建知识图谱统计数据集中类别共存的关联性来构建大型知识图谱，再利用一个门图网络来对知识图谱进行特征表达，迭代的更新知识图谱得到知识图谱的特征表示；

知识嵌入表达模块，用于将所述语义交互模块知识表达学习到的特征表示与所述语义结耦模块提取的图像特征学习相结合，以实现多标签分类；

所述语义结耦模块进一步包括：

图像特征提取单元，用于利用卷积神经网络对输入图像提取图像特征；

语义特征提取单元，用于利用预训练的GloVe模型提取所采用数据集所有类别的类别语义特征；

特征向量获取单元，用于通过引入语义引导注意机制，利用所述语义特征提取单元获得的类别语义特征来引导学习特征权重，并作用于原图像特征形成新的特征向量；

所述特征向量获取单元引入语义引导注意机制，其结合了通过所述语义特征提取单元获取的类别语义特征，以指导更多地关注语义感知区域，从而学习对应于该类别的特征向量，表示如下：

其中tanh(·)为双曲正切函数，为可学习参数，⊙为元素点乘，d₁和d₂分别为联合特征嵌入和输出特征的维度，为图像特征，d_s为语义向量的维度，x_c为类别语义特征，N为数据集中类别节点数目，R为实数空间；

对于每个位置(w，h)，所述特征向量获取单元首先使用低维双线性池化的方法将相应的图像特征和类别语义特征x_c进行融合，然后在所述类别语义特征x_c的引导下计算权重系数并对每个位置重复该项操作，再进行正则化，对所有位置执行加权平均合并以获得特征向量f_c，所述特征向量获取单元对所有类别重复该过程，获得所有类别相关的特征向量{f₀,f₁,...,f_C-1}；

所述语义交互模块进一步包括：

知识图谱构建单元，用于统计数据集中类别标签和属性的关联性，构建大型知识图谱；

门图网络构建单元，用于定义一个门图网络以对知识图谱进行特征表达，利用所述知识图谱构建单元获得的数据集节点共存的统计信息初始化门图网络GGNN中类别节点之间的连接值，并利用所述特征向量获取单元得到的特征向量来初始化门图网络GGNN类别节点特征；

迭代更新单元，用于在所述门图网络中迭代地更新每个节点的信息；

所述知识图谱构建单元根据数据集中类别节点之间的共存性得到类别节点之间共存的共存统计信息，该信息为N×N维矩阵，构成知识图谱；

迭代更新单元的迭代过程如下：

对于每个节点c∈V，在迭代次数t都有一个隐藏信息当t＝0时，x_c，x_c为初始的特征向量，a_c表示节点c和其相邻节点关系的a的子矩阵，σ和tanh分别是激活函数和双曲正切函数，⊙表示向量点乘，W，U，W^z，U^z，W^r，U^r为n＊n维度的可学习的卷积神经网络的训练参数；是中间计算结果，表示GGNN网络中的部分周期性输出；是中间计算结果，表示类别相关的隐藏信息；整个过程一共迭代T次，最终得到隐藏信息的集合

2.如权利要求1所述的一种基于特定语义的图表示学习框架，其特征在于：所述知识嵌入表达模块将门图网络GGNN的输入特征与最后迭代更新的节点特征进行结合，定义分类器及分类过程的损失函数，输入图片训练样本，并按照前向算法，后向算法和定义的损失函数进行分类网络参数的学习。