[发明专利]一种基于元学习的集成式深度模型分类方法

说明书

一种基于元学习的集成式深度模型分类方法，包括：1)收集与任务相关的标注数据，划分数据集为训练集和测试集；2)通过任务与数据类型选择多组较优的数据增强方式，对初始数据进行增强；3)选择N个相同的的深度学习网络模型作为初始模型，选择1种算法作为模型集成所需算法；4)训练过程中将训练集部分采样得到查询集，剩下部分作为支撑集；5)使用支撑集训练该N组模型，并进行梯度更新；6)使用查询集验证该N组模型，并对算法进行梯度更新，使用更新后的算法对多模型集成，将集成模型参数替换掉该N个网络模型的参数；7)重复4‑6步骤多次，使用最后一轮得到的算法对最后一轮得到的N组模型进行集成，得到最终的模型。

技术领域

本发明属于计算机视觉领域，针对图像分类等场景中训练效果较差，资源利用率不足，超参数设计严重，训练时间长的问题，提出了一种基于元学习的集成式深度模型分类方法。

背景技术

图像分类问题是计算机视觉领域最基础、最核心的问题之一。随着深度学习技术的发展，图像分类已经取得了非常巨大的进步，能够使用单个模型在上千类的物体分类中达到较高的准确率。但是在工业界应用时，由于缺乏足够多的高质量数据，同时在训练模型时有着较多的超参数需要人为进行设计训练，占用了大量的时间。在较少的时间内，深度模型识别通常很难达到一个较高的正确率。训练过程中使用到的各个模型中也只会选择最优的那一个，这就导致了训练资源被大大浪费。

目前在研究领域解决该问题的方法大概有两种，一为迁移学习，迁移学习能够将A域数据集上的模型迁移到B域数据集上继续训练，在较短的时间内达到较好的效果，二为集成学习，通常将训练好的多个模型的参数进行一定范式的结合。实际上这两种方法没有较大程度上的解决该问题。

发明内容

针对现实场景中视觉分类任务中训练效果较差，资源利用率不足，超参数设计严重，训练时间长的现状，本发明提出了一种基于基于元学习的集成式深度模型分类方法，从有标注数据中通过元学习知识转移的方式解决图像分类任务。

为实现上述目的，本发明所述的基于元学习的集成式深度模型分类方法，包括如下步骤：

1)收集与任务相关的有标注数据，划分数据集为训练集和测试集；

2)通过任务与数据类型选择多组较优的数据增强方式。

3)选择N个相同的的深度学习网络模型作为初始模型，选择1种算法作为模型集成所需的算法。

4)训练过程中将训练集部分采样得到当前查询集，剩下部分作为当前支撑集。

5)使用当前支撑集训练一轮的该N组模型，并进行梯度更新。

6)使用当前查询集验证该N组模型，通过计算损失对算法进行梯度更新，使用最终的算法对多模型集成，将集成模型参数替换掉该N个网络模型的参数。

7)重复4-6步骤多次，使用最后一轮得到的算法对最后一轮得到的N组模型进行集成，得到最终的模型。

进一步，步骤1)所述的数据均有标注，且数据量充足能够用以训练；步骤1)所述的训练集数据与测试集数据同源。

进一步，步骤2)所述的较优的数据增强方式与数据集较为相关；所述的多种数据增强方式需各不相同，无冲突与交叠。

进一步，步骤3)所述的N个网络需相同；选择的算法可将N个不同参数的同架构网络进行集成，可通过如下算法得到

进一步，步骤4)所述的划分训练集方式为：将全部数据集划分为多个批次，选择少量的批次作为查询集，用于算法训练，选择剩下的批次作为支撑集，用于模型训练。

进一步，步骤5)所述的支撑集训练模型过程进行多轮，并且均优先于步骤6)查询集训练算法的过程，训练过程通过如下公式得到：