[发明专利]一种新型AUTOML框架

说明书

本发明公开了一种新型AUTOML框架，该AUTOML框架由三部分构成：特征工程、模型选择、算法选择；所述特征工程的目的是自动地发掘并构造相关的特征，且其包含部分特定的特征增强方法；所述模型选择包括两个步骤：选择一个模型，设定它的参数；所述算法选择的目的是自动地选择出一个优化算法，以便能够达到效率和精度的平衡。常用算法选择优化方法包括SGD、L‑BFGS、GD；本发明所述的一种新型AUTOML框架，从机器学习角度讲，AutoML可以看作是一个在给定数据和任务上学习和泛化能力非常强大的系统；从自动化角度讲，AutoML则可以看作是设计一系列高级的控制系统去操作机器学习模型，使得模型可以自动化地学习到合适的参数和配置而无需人工干预。

技术领域

本发明属于人工智能领域，特别涉及一种新型AUTOML框架。

背景技术

简单的说机器学习是实现人工智能的一种手段，而深度学习是在机器学习的发展过程中，发展出来的一个分支，广义上讲它也是机器学习，但是由于其实现机制和原来的机器学习算法有较大的不同，所以发展为一个独立的领域。机器学习和深度学习都是建模的有效工具，只是它们面向的场景有所不同。

所以，AutoML也需要分为两个种类，传统的AutoML和深度AutoML。即传统的AutoML是为了解决传统机器学习的建模问题，它面向的是传统机器学习相关算法，如线性回归、逻辑回归、决策树等等。而深度AutoML更多的是面向深度学习中神经网络的建模。本发明主要研究的就是面向深度学习领域的AutoML。

发明内容

本发明的主要目的在于提供一种新型AUTOML框架，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种新型AUTOML框架，该AUTOML框架由三部分构成：特征工程、模型选择、算法选择；

所述特征工程的目的是自动地发掘并构造相关的特征，且其包含部分特定的特征增强方法；

所述模型选择包括两个步骤：选择一个模型，设定它的参数；

所述算法选择的目的是自动地选择出一个优化算法，以便能够达到效率和精度的平衡，常用算法选择优化方法包括SGD、L-BFGS、GD。

优选的，所述特定的特征增强方法包括特征选择、特征降维、特征生成、以及特征编码。

优选的，模型选择相应地，AutoML的目的就是自动选择出一个最合适的模型，并且能够设定好它的最优参数。

优选的，将特征工程、模型选择、算法选择步骤整合起来，一个完整的 AutoML过程可以分成这么两类：一类是将以上的特征工程、模型选择、算法选择整合成一个完整的pipeline；另一类则是Network Architecture Search，自动地学习到最优的网络结构。

优选的，该AUTOML框架还具有模型评估，其具有五种评估方式：直接在目标数据上进行评价，这是被使用最多的策略；当数据样本量非常大时，采样一些样本进行评价；当遇到一些极端情况使得网络表现效果不好时，可以考虑进行early stop；将之前学习过的参数重复利用在新任务上，这在两种任务配置差不多时可用；对于一些可量化的配置，可以用共轭评价法进行。

与现有技术相比，本发明具有如下有益效果：本发明所述的一种新型 AUTOML框架，从机器学习角度讲，AutoML可以看作是一个在给定数据和任务上学习和泛化能力非常强大的系统；从自动化角度讲，AutoML则可以看作是设计一系列高级的控制系统去操作机器学习模型，使得模型可以自动化地学习到合适的参数和配置而无需人工干预。

附图说明

图1为本发明新型AUTOML框架整体结构示意图；

图2为本发明的一个cell由rnn生成的过程示意图；