[发明专利]一种基于关系网络的少样本图像分类方法

权利要求书

1.一种基于关系网络的少样本图像分类方法，其特征在于，包括以下步骤：

(1)构建深层神经网络模型，使查询图像和支持图像在进行前向推导时，得到局部特征集合表示；

(2)构建查询图像的局部特征集合q和支持图像所有类的局部特征集合S的双向附属关系网络；

(3)利用双向附属关系网络的图中心性计算查询图像和各支持图像之间的关联程度；

(4)训练时，将少样本训练数据集划分成多个少样本图像分类任务，对于每个少样本分类任务中的查询图像和支持图像集，重复步骤(2)-(3)，

根据与各个支持图像的类别之间的关联性计算少样本图像分类的概率，使用负对数似然函数作为损失函数进行深层神经网络模型的参数训练；

(5)测试时，对于每一个少样本分类任务中的查询图像和支持图像集，按照步骤(2)-(3)，计算查询图像集中的图像分类成各个支持图像所属的类别的概率，选取概率最大的类作为图像的分类预测。

2.根据权利要求1所述的基于关系网络的少样本图像分类方法，其特征在于，步骤(1)的具体过程为：

使用预训练的深层神经网络模型提取查询图像输入x的深层视觉特征θ∈R^C×H×W，将其转化为图像的局部特征的集合表示q＝{q₁，...，q_M}，其中，M＝H×W表示单个图像的局部特征集的数量，q∈R^C表示其中一个局部特征符向量；

使用同一个深层神经网络模型提取来自类c第k张支持图像输入的深层特征将所有来自同一类c的共K张支持图像的局部特征使用取平均得到类的平均局部特征图将其转化为类的局部特征集合表示

3.根据权利要求2所述的基于关系网络的少样本图像分类方法，其特征在于，步骤(2)的具体过程如下：

(2-1)首先构建支持图像集中所有类的局部特征集合S：

其中，N是一个少样本分类任务中所有类的数量；

(2-2)对于查询图像的任一局部特征q∈q，计算它到集合S中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，表示参数γ比例放大的两个特征向量v₁，v₂之间的余弦相似度；

(2-3)将(2-2)中每个q∈q与每个s∈S之间的关系使用矩阵形式表示：

P_Sq＝Φ_γD^-1

其中，P_Sq的每一列对应从q中的一个局部特征到S中的每一个局部特征的随机游走概率；Φ_γ中任一q和s的关系反映在[Φ_γ]_sq＝exp(φ_γ(s，q))里；D是一个对角矩阵，其中第j行第j列的元素等于Φ_γ中第j列的所有元素之和；

(2-4)对于支持图像的任一局部特征s∈S，计算它到集合q中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，表示参数τ比例放大的两个特征向量v₁，v₂之间的余弦相似度；

(2-5)将(2-4)中每个s∈S与每个q∈q之间的关系使用矩阵形式表示：

P_qS＝Φ_τW^-1

其中，P_qS的每一列对应从S中的一个局部特征到q中的每一个局部特征的随机游走概率；Φ_τ中任一s和q的关系反映在[Φ_τ]_qs＝exp(φ_τ(s，q))里；W是一个对角矩阵，其中第j行第j列的元素等于Φ_τ中第j列的所有元素和；

(2-6)构建双向附属关系网络，节点和节点间的连接矩阵可以表示为

其中，连接矩阵P的大小为(NM+M)×(NM+M)；局部特征集S中的节点与局部特征集S中的节点互相之间没有连接，局部特征集q中的节点与局部特征集q中的节点互相之间没有连接，使用零矩阵表示；局部特征集q中的节点连接到局部特征集S的有向连接边上的权值反映在子矩阵P_Sq中，局部特征集S中的节点连接到局部特征集q的有向连接边上的权值反映在子矩阵P_qS中。