[发明专利]基于分层变分条件转移神经元的跨域小样本学习方法

权利要求书

1.基于分层变分条件转移神经元的跨域小样本学习方法，其特征在于，包括以下步骤：

1)构建初始记忆单元集M；

2)随机初始化关键字生成网络丁的参数θ、查询集推理网络g的参数φ₁、支持集推理网络g的参数φ₂；

3)利用变分推理ELBO下限对所述记忆单元集M的生成过程以及所述参数θ、φ₁、φ₂进行优化；

4)在所述参数θ、φ₁、φ₂训练收敛之后，利用测试数据进行测试。

2.根据权利要求1所述的基于分层变分条件转移神经元的跨域小样本学习方法，其特征在于，在所述步骤3)中，所述变分推理ELBO下限为

式中Q为查询集，S为支持集，m^t为t层的记忆单元，x_i为查询集中样本i，y_i为查询集中样本i对应的实际输出标签，q(m^t|S，m^t-1)为变分推理中的支持集对应的近似分布，而p(m^t|x_i，m^t-1)为查询集对应的推理分布，D_KL为支持集和查询集上关于记忆单元分布的KL距离。

3.根据权利要求1所述的基于分层变分条件转移神经元的跨域小样本学习方法，其特征在于，所述步骤3)包括以下步骤：

3.1)对于支持集S中每一个样本i，计算支持集S的交叉熵损失函数

其中y_i为样本i的实际输出标签，为样本i的预测输出标签；

3.2)根据支持集S每一个样本i的交叉熵损失函数，计算每一层t的分层条件信息如下：

式中p设置为7，并且式中

3.3)对支持集中S每一个样本i，计算每一层的网络中间输出和输出

式中W_t和h_t为第t层的基本识别模型B的参数，假设为已知，为的前一层的输出，为当前层的输出；

3.4)对支持集S中每一个样本i，从t＝1开始递推生成各层的记忆单元其中初始设置为0；

3.5)将按照类别c和层t，拼接成记忆单元集M；

3.6)对于查询集Q中每一个样本数据x′_i，以及支持集S中每个类别的样本特征平均值经过关键字生成网络f，生成其对应关键字如下：

k′_i＝f_θ(x′_i)

3.7)根据记忆单元集M，按如下公式计算查询集Q样本数据x′_i的各层记忆单元：

α＝softmax(cos(k′_i，k_c))

其中记忆单元m包含T层，由[m¹...m^T]组成，α为表示查询集Q样本与支持集S中各类样本之间相关程度的系数；

3.8)对于查询集Q中的样本数据x′_i，按照如下公式得到其对应的中间输出和预测值

3.9)计算查询集Q中的所有样本的交叉熵

3.10)将送入查询集Q推理网络g，得到关于记忆单元的分布如下：

3.11)计算整体目标函数如下：

这里为根据支持集S得到的各类别c的记忆单元分布的均值和方差，{μ^t，σ^t}为查询集Q对应的记忆单元分布的均值和方差；

3.12)更新参数θ、φ₁、φ₂如下：