[发明专利]基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法

权利要求书

1.一种基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法，包括步骤：在可离线运行的终端上部署学生模型，以便，所述终端在离线状态下调用所述学生模型获得一叶片图片的识别结果；所述学生模型的网络结构由逐次删减一教师模型的卷积层获得；所述学生模型的模型参数根据所述教师模型基于软标签的珍稀濒危植物叶片样本集通过知识蒸馏获得；所述教师模型的模型参数使用基于所述珍稀濒危植物叶片样本集的训练获得。

2.根据权利要求1所述的珍稀濒危植物叶片识别方法，其特征在于，包括步骤：

步骤10，配置第一神经网络，使用第一数据集对其预训练，以获得其第一模型参数；

步骤20，根据第二数据集中叶片图片尺寸和分类调整第一神经网络的输入层和全连接层尺寸，以将第一神经网络修改为第二神经网络；使用第二数据集，基于所述第一模型参数对第二神经网络进行迁移学习训练，以获得其第二模型参数；

步骤30，迭代配置多个第三神经网络，以所述第二神经网络为教师模型，以各第三神经网络为学生模型，使用第三数据集通过知识蒸馏提取所述教师模型的知识信息以获得学生模型的模型参数；

步骤40，在所述终端上部署步骤30所获得的学生模型，以便所述终端读取叶片图片，并调用学生模型根据该叶片图片输出珍稀濒危植物识别结果；

其中，所述第二数据集和第三数据集由所述珍稀濒危植物叶片样本集的至少一个子集获得。

3.根据权利要求2所述的珍稀濒危植物叶片识别方法，其特征在于，所述步骤30包括以下步骤：

步骤31，对所述第二神经网络的网络结构进行剪枝调整操作后，去掉其中一个卷积层后，获得一个第三神经网络的网络结构；

步骤32，以所述第二神经网络为教师模型，以当前第三神经网络为学生模型，使用所述第三数据集通过知识蒸馏提取所述教师模型的知识信息以获得该学生模型的模型参数；

步骤33，如果当前学生模型的模型参数使得该学生模型到达所述教师模型基本相同的准确率，则根据当前第三神经网络的网络结构，删除其中一个卷积层后，获得一个新的第二神经网络的网络结构，并返回步骤32；否则，执行步骤34；

步骤34，以上一次执行步骤32时的第三神经网络的网络结构和模型参数作为步骤30所获得的学生模型。

4.根据权利要求3所述的珍稀濒危植物叶片识别方法，其特征在于，所述剪枝调整操作方法包括：根据输入样本尺寸相应调整各卷积层中卷积核的尺寸，以及，删除模型骨干网络中一个以上的中间卷积块及其池化层。

5.根据权利要求3所述的珍稀濒危植物叶片识别方法，其特征在于，迭代步骤33并逐次删除上一第三神经网络的一个卷积层以配置出新的第三神经网络时，所述策略包括：当更接近神经网络输出端的卷积块中卷积层数量大于更接近神经网络输入端的卷积块中卷积层数量时，优先删除更接近神经网络输出端的卷积块的卷积层；当更接近神经网络输出端的卷积块中卷积层数量等于更接近神经网络输入端的卷积块中卷积层数量时，删除更接近神经网络输入端的卷积块中的一个卷积层；当被实施删除操作后的卷积块中不再包含卷积层时，保留其池化层；删除一卷积层时，调整其他仍保留的卷积层及池化层的中卷积核尺寸。

6.根据权利要求1所述的珍稀濒危植物叶片识别方法，其特征在于，所述根据所述教师模型基于软标签的珍稀濒危植物叶片样本集通过知识蒸馏获得一学生模型的模型参数的过程中，所述学生模型训练过程的损失函数L₂为：

L₂＝χ₁L_soft+χ₂L_hard (6)

其中，χ₁，χ₂为超参数，L_soft为使用软标签训练学生模型的多分类交叉熵损失函数，L_hard为使用真实珍稀濒危植物叶片标签训练学生网络模型的交叉熵损失函数。

7.根据权利要求2所述的珍稀濒危植物叶片识别方法，其特征在于，所述第一神经网络为AlexNet或者VGG16。