[发明专利]基于迁移学习和注意力机制元学习应用在小样本图片分类的方法

权利要求书

1.一种基于迁移学习和注意力机制元学习的应用在小样本图片分类的方法，其特征在于，包括以下步骤：

(1)获取数据：读取数据集中预训练中的图片，其中图片按任务划分，不同任务的图片在不同的文件夹中，按照任务分布进行图片的读取；

(2)迁移学习和注意力机制元学习网络框架的搭建：包括固定的特征提取器和由于预训练与元学习阶段分类任务数量的不同，采用的不同的类别输出层；

(2.1)预训练阶段的模型框架包括：用DenseNet网络作为特征提取器，来提取输入图片的特征，后面接一个平均池化层，来对将经过DenseNet网络提取出来的特征进行降维，去除冗余信息，对池化后的特征进行展平，后面接一个全连接层，最后是一个根据分类任务确定的类别输出层；

(2.2)元学习阶段的模型框架包括：用DenseNet网络作为特征提取器，来提取输入图片的特征，将提取出来的图片特征输入到注意力机制模块中，注意力机制使用的是通道注意力，将每个通道的特征图进行全局平均池化，得到注意力加权值，再将这个加权值应用于原来的特征图中，对每个通道的数值进行加权。加权后的特征进行展平，后接一个全连接层，最后是一个与训练阶段不同的类别输出层；

(3)对步骤(2)搭建的预训练阶段的模型框架和元学习阶段的模型框架进行训练；

(3.1)初始化预训练网络参数，把训练数据集输入到预训练的网络框架中去，来对预训练的网络框架参数进行优化，学习卷积层中的网络参数权值W和偏差b，通过交叉熵损失函数来减小同一任务之间的特征分布，最后用softmax计算样本所属概率最大的类别即为图片预训练阶段的预测类别；

(3.2)预训练网络的参数更新；

(3.3)重复步骤(3.1)、(3.2)直至网络迭代次数达到预设迭代次数，取最好精度的迭代次数的网络参数Θ(W,b)；

(3.4)预训练结束，网络参数Θ(W,b)固定不再更新；

(3.5)初始化元学习网络参数，将测试数据输入到元学习的网络框架中去，此时网络中特征提取器卷积层所使用的权值W和偏差b是预训练阶段迭代精度最好的参数，并引入两个新的参数：缩放和平移；

(3.6)元学习网络参数更新；

(3.7)重复步骤(3.5)、(3.6)直至网络迭代次数达到预设迭代次数，取最好精度的迭代次数的网络参数；

(3.8)元学习阶段结束后，用验证数据集对网络模型进行验证，网络最终输出的分类精度为最后的模型评估精度。

2.根据权利要求1所述一种基于迁移学习和注意力机制元学习应用于少样本图片分类的方法，其特征在于，所述步骤(1)包括以下步骤：

(1.1)为了提高分类的难度，数据集中的图片尺寸为84×84，将图片尺寸resize到40×40，然后随机切割36×36尺寸大小的图片；每张图片转换为RGB三通道，转换为c×h×w的三维矩阵，h和w分别为图像的高和宽，c为通道数；

(1.2)训练图片转换成n_S×c×h×w的四维矩阵数据，n_S表示任务T训练样本数；同一任务中随机抽取没有训练的图片作为验证数据转换为n_T×c×h×w的四维矩阵数据，n_T表示同一任务中用来验证的数据样本数；

(1.3)图片类别用one-hot编码，图片共有N类，则第一类的标签表示[1,0,0,...,0]_1×N,第二类的标签表示为[0,1,0,...,0]_1×N，…，第N类图片的标签表示为[0,0,0,...,1]_1×N。