[发明专利]一种基于深度端对端示例差异化的零样本多标签分类方法

权利要求书

1.一种基于深度端对端示例差异化的零样本多标签分类方法，其特征在于，包括训练阶段和测试阶段，其中，

所述的训练阶段是获取一个端对端网络，所述的端对端网络是由多示例特征提取网络、跨模态映射网络和训练样本的标签和测试样本的标签各标签之间的约束模块构成；训练阶段具体包括：

11)训练多示例特征提取网络；

12)提取训练样本对应的标签特征；

13)视觉特征到标签特征空间的跨模态映射网络训练，用于实现多模态融合，并挖掘标签与标签间、样本与标签间的关联关系；包括：

训练样本经跨模态映射网络W进行跨模态特征变换后，在语义空间满足假设：与训练样本相关的标签与训练样本的相似度大，与训练样本不相关的标签与训练样本的相似度小，即跨模态特征变换后的训练样本的多示例视觉特征与标签语义特征y_j进行相似性度量：

其中，F表示训练样本和标签相关性得分向量，x_i为训练样本的多示例视觉特征；

训练样本的多示例视觉特征x_i与标签语义特征y_j有相似性的平均得分f(x_i,y_j)表示如下：

f(x_i,y_j)＝avg_tF(x_i,y_j)

其中，t为每个训练样本的多示例的个数，

则与训练样本相关的标签、与训练样本不相关的标签和训练样本满足如下关系：

其中，为与训练样本不相关的标签；

基于多标签学习的最大间隔框架，训练阶段存在所有训练样本的优化目标函数如下：

其中，为最大间隔排序损失函数，为正则化项，为范数，W为跨模态映射网络，M为多示例特征网络，λ为用于平衡正则化项和排序损失函数的参数，其中最大间隔排序损失函数满足：

其中，f₀为相似性阈值，能够根据实验调整；

所有训练样本的优化目标函数实现了训练样本视觉空间至训练样本语义空间的多模态映射，并将训练样本与训练样本对应的标签间的关联信息、标签与标签间的排序信息统一至优化目标函数进行优化

14)训练样本的标签和测试样本的标签各标签之间的约束模块；所述的约束模块包括：

(1)各标签间的相似性约束模块：

其中，为各标签间的相似性关系，是通过WordNet词典法获取，该WordNet词典法基于树形层次结构，各标签间的相似性关系通过各标签间的连接路径反映，定义标签间的相似性为路径长度path_len(h,z)的倒数；

(2)各标签间的统计共生约束模块：

其中，为各标签间的统计共生关系，HC(h,z)表示标签h和标签z共同出现次数，HC(h)表示标签h出现次数，HC(z)表示标签z出现次数

15)训练阶段的最终目标函数的优化；

是结合训练样本原始图像和训练样本标签间的关联关系以及训练样本的标签和测试样本的标签之间的关系，得出最终的目标函数如下：

其中，为最大间隔排序损失函数，为正则化项，为范数，W为跨模态映射网络，M为多示例特征网络，λ为用于平衡正则化项和排序损失函数的参数，为训练样本和测试样本各标签间的相似性约束模块或训练样本和测试样本各标签间的统计共生约束模块其中最大间隔排序损失函数满足：

其中，f₀为相似性阈值，能够根据实验调整；

训练阶段的最终目标是优化端对端网络，得到跨模态映射网络W和多示例特征网络M；

所述的测试阶段是直接利用训练阶段所获取的端对端网络实现零样本多标签分类；所述的测试阶段具体包括：

21)利用多示例特征提取网络提取测试样本多示例特征；

22)提取测试样本对应的标签特征；

23)测试样本多标签分类。