[发明专利]一种基于逻辑学习的多图检索方法

权利要求书

1.一种基于逻辑学习的多图检索方法，其特征在于，包括如下步骤：

1)收集并预处理数据集；

2)训练一组深度学习网络特征提取器并提取图像的特征组；

3)将步骤2)所得的特征组融合为各个图的特征；

4)利用逻辑关系和训练集特征构造逻辑三元组，并进行训练逻辑运算网络；

其中，训练逻辑运算网络的具体步骤为：

4.1)利用逻辑规则构造逻辑三元组：利用逻辑规则构造逻辑三元组L＝I，O，R；

其中，I表示待检索多图的特征，I＝{I₁，I₂}，I包含两张待检索图的特征I₁和特征I₂；

O表示I对应的逻辑输出特征；

R表示I和O之间的逻辑运算关系，R＝{And、Or、Exclusive、Inverter}；

R中的And表示在O中同时包含I₁和I₂的特征；

Or表示在O中I₁和I₂的特征至少包含一个；

Exclusive表示在O中I₁和I₂的特征只能包含一个；

Inverter表示在O中不包含I₁和I₂的特征；

关系R形式化表示为使用关系R、训练集S_tr的特征E₁和训练集D_tr的特征E₃构造逻辑三元组L：对于每个逻辑三元组来说，在E₁中随机选择两个特征作为I，I的这两个特征来自不同的类别，在R中随机选择某个逻辑关系r_i作为该逻辑三元组的关系，根据该逻辑关系，计算得到O中应当包含的具体特征类别，然后在E₃中随机选择一个符合该逻辑需求的特征作为O，迭代该过程，完成逻辑三元组的构造；

4.2)训练逻辑运算网络LON：逻辑运算网络LON是一个自编码器网络，包括编码器和解码器，编码器和解码器各由多个全连接层组成，它的损失函数为均方误差损失函数，在训练阶段，将逻辑三元组L的I作为逻辑运算网络LON的输入，O作为逻辑运算网络LON的输出，训练的最大迭代次数为epoch：在每一次迭代中，将I级联然后输入到编码器网络中，然后再解码为符合逻辑需求的输出O^*，使输出O^*接近O，当网络LON的损失在连续十次迭代中不再下降时提前停止其训练，或者网络LON的迭代次数达到最大迭代次数epoch时停止其训练，针对每一种逻辑关系各训练一个逻辑运算网络LON_i，即每个关系r_i隐式地嵌入到一个逻辑运算网络LON_i中，所有逻辑运算网络的集合为

5)在检索阶段，对逻辑输出特征进行处理并输出检索结果。

2.根据权利要求1所述的一种基于逻辑学习的多图检索方法，其特征在于，所述步骤1)中包含单类目标的数据集表示为S＝{(x_i，y_i)|1≤i≤|S|}；

其中x_i为单类目标图像，每个x_i只包含一类目标，y_i为x_i的类别，数据集S共有z类，|S|为x_i的数量；

包含多类目标的数据集表示为D＝{(x′_i，y′_i)|1≤i≤|D|}；

其中x′_i为多类目标图像，每个x′_i包含两类或两类以上目标，y′_i为x′_i的类别，|D|为x′_i的数量。