[发明专利]基于小样本的多任务组合模型的训练方法

说明书

本发明公开了一种基于小样本的多任务组合模型的训练方法，方法包括获取遥感影像训练集，包括无标记数据集和有标记数据集；构建多任务组合模型，所述多任务组合模型包括1个主干网络和n个子网络，其中主干网络和子网络通过串联方式连接，子网络之间通过并联方式连接，n≥2；基于无标记数据集对主干网络进行第一训练，得到第一训练的主干网络；S4基于有标记数据集对n个子网络进行第二训练，得到n个第二训练的子网络；S5将1个第一训练的主干网络和n个第二训练的子网络作为训练完成的多任务组合模型。本发明能够通过少量标记样本同时完成多个任务的训练，减少模型工作量，在有限标记样本的情况下高效地训练出多个模型。

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于小样本的多任务组合模型的训练方法。

背景技术

传统的监督算法需要大量的带标签训练样本进行训练，然而样本的标注往往需要付出很大的代价，小样本学习旨在解决标注样本有限的机器学习任务，只需要少量的标注样本，就能训练出良好的模型。其中，已经成熟的小样本学习方式有半监督学习，半监督学习通过少量有标记数据和训练出一个初始模型，大量未标记样本解决这一问题，但是半监督学习要求参与学习的无标记数据和已标注数据来自同样的分布，这意味着半监督学习训练出的模型适用于该分布的数据，不具有普适性。

同时，传统的机器学习仅仅基于单任务设计，即一个网络模型只针对一个具体任务。应对多个任务时，各个任务之间是独立训练的，每新增一个任务都需要搭建一次模型、开展一次训练，且无法在多次的训练过程中引入其他任务包含的知识和信息，这种模式导致了训练成本较大、训练效果也不够理想。

发明内容

为现有技术存在的不足和缺陷，提高特征的利用率，本发明通过模型组合与分次训练设计了一种基于小样本的多任务组合模型的训练方法，使训练的模型不仅可以同时解决多个任务，而且不需要大量的标记样本对其进行训练，同时对数据的分布没有要求，该方法包括：

S1:获取遥感影像训练集，包括无标记数据集和有标记数据集；

S2:构建多任务组合模型，所述多任务组合模型包括1个主干网络和n个子网络，其中主干网络和子网络通过串联方式连接，子网络之间通过并联方式连接，n≥2；

S3基于无标记数据集对主干网络进行第一训练，得到第一训练的主干网络；

S4 基于有标记数据集对n个子网络进行第二训练，得到n个第二训练的子网络；

S5 将1个第一训练的主干网络和n个第二训练的子网络作为训练完成的多任务组合模型。

作为一种优选方案，该方法还包括：

S6将1个多任务组合模型拆分为n个单任务模型，每个单任务模型包括1个第一训练的主干网络和1个第二训练的子网络；

S7基于有标记数据集对单任务模型进行第三训练，得到第三训练的单任务模型，包括第三训练的主干网络和第三训练的子网络。

具体地，所述对主干网络进行第一训练是基于对自编码器进行训练实现的，所述自编码器包括主干网络和解码器，步骤S3包括：

S31将无标记数据集输入主干网络进行特征提取，得到无标记特征集；

S32将无标记特征集输入解码器中进行解码，得到重构数据集，并根据下式计算重构损失函数：

其中，表示重构损失，表示无标记数据，表示重构数据，表示主干网络的参数，表示解码器的参数；

S33通过重构损失函数对主干网络的参数和解码器的参数进行微调；

S34迭代的执行S31-S33，直至达到预设的收敛条件，得到第一训练的主干网络和第一训练的解码器。