[发明专利]一种基于正交设计的神经网络超参数调优方法

说明书

本发明涉及计算机视觉、图像处理和机器学习领域，针对目前超参数调优方法存在低分类精度和高计算开销的问题，提供了一种基于正交设计的神经网络超参数调优方法。本方法首先确定超参数及其取值范围，将超参数取值范围划分为多个区间，进行离散化操作得到超参数的各取值水平，基于正交表对超参数各取值水平进行组合，遍历全部超参数水平组合得出最优的超参数水平组合；再基于得到的最优超参数水平组合进行下一步的超参数取值范围划分，循环往复，直到不能再进行超参数取值范围的划分为止。既克服了传统超参数优化低分类精度问题，又大大节省了计算开销。

技术领域

本发明涉及计算机视觉、图像处理和机器学习领域，具体为一种基于正交设计的神经网络超参数调优方法。

背景技术

在实际应用中，深度神经网络模型在语音识别、目标检测、药物发现和基因组学等领域已经是一种基准模型。在深度神经网络模型中，网络的层数从十几层到上百层，并且每层的神经元少则数十个，多达上千个，因此，对于深度神经网络来说，参数量是庞大的。参数取值不同，网络性能表现亦不同，所以，如何选择一组好的超参数使得神经网络性能达到最优，即神经网络超参数优化，一直是学者们在研究的问题。常见的超参数有以下三类：

(1)网络结构，包括神经元之间的连接关系、层数、每层的神经元数量、激活函数的种类等；

(2)优化参数，包括优化方法、学习率、小批量学习的样本数量等；

(3)正则化系数。

所谓的超参数调优，就是通过最小化测试数据与模型预测结果之间的差异(即模型最优)，来选择一组最优的超参数。目前，广泛使用的超参数调优方法主要包括网格搜索、随机搜索和人工调优。网格搜索是一种穷举式搜索，在所有候选的超参数中，通过循环遍历，尝试所有的超参数取值水平组合，表现最好的超参数取值水平组合就是最终的结果，其原理就像是在数组里找最大值。而随机搜索不再测试超参数取值范围内的所有值，只是在搜索范围中随机选取超参数值，若是样本点集足够大，搜索次数足够多，那么通过随机采样也能大概率找到全局最优值。人工调优则需要依靠经验和直觉，在大量的调试次数之后得到最优解。

显然，上述的方法都有不容忽略的弊端。在网格搜索中，随着超参数维数的增加，我们要尝试的组合数呈指数级增长，所需要的计算资源也极大增加，造成“维数灾难”。人工调优则需要大量的人力和计算开销。随机搜索虽然速度要比网格搜索快些，但是也是在大量的搜索次数之后才能得到最优解。基于此，本发明提出了一种基于正交设计的神经网络超参数调优方法。

发明内容

本发明针对目前超参数调优方法存在低分类精度和高计算开销的问题,将正交设计的思想融入到随机搜索超参数调优方法中，提供了一种基于正交设计的神经网络超参数调优方法。

为了达到上述目的，本发明采用了下列技术方案：

本发明提供了一种基于正交设计的神经网络超参数调优方法，包括以下步骤：

步骤1，根据具体使用情况确定需要优化的神经网络超参数及各超参数的取值范围；

步骤2，根据步骤1确定的需要优化的超参数个数选择合适的正交表；

步骤3，将步骤1确定的各超参数的取值范围划分为多个区间，进行离散化操作，得到超参数的各取值水平；

步骤4，基于选择的正交表将步骤3得到的超参数的各取值水平进行组合，并计算所有超参数水平组合的得分；

步骤5，选择得分最高的超参数水平组合，并且找到该组合中每个超参数取值水平对应的超参数取值范围；

步骤6，重复步骤3～5，直到不能再次进行超参数取值范围划分及离散化操作为止，得到最优的神经网络超参数组合。