[发明专利]低算力要求的神经网络分块优化方法及分块优化器

说明书

本发明公开了低算力要求的神经网络分块优化方法及分块优化器，该方法包括：分解隐层拓扑，将隐层参数形成的向量排列组成超平面；在超平面的每个位置添加数据；将超平面平分为二分别训练，选择变化程度较高的区域判断是否满足系统算力要求，多次重复直到某次分块后满足系统算力要求；使用训练数据集对筛选出的区域进行训练，若loss function满足系统要求结束训练；反之则组成新的待训练空间继续训练。本发明实施例在算力不足的应用场景下，基于相对少量的样本数据，通过搜寻隐层参数超平面上对loss function影响较大的区域并对其进行针对性的调优，用较小的运算量来快速完成一套满足基本要求的神经网络，且样本数据可以多次利用。

技术领域

本发明涉及机器学习领域，尤其涉及低算力要求的神经网络分块优化方法及分块优化器。

背景技术

神经网络的调节主要依靠调节隐层中的参数从而改变输入与输出间的非线性关系。传统的优化器着眼于寻找全局最优，在网络层数比较浅时通过不大的数据量就可以完整网络参数的调优。

但是当网络层数逐渐增加，由隐层参数组成的超平面逐渐变大，想要达到相同的调优效果也就需要更大量的样本数据和算力支持。在某些应用场景下不适合使用传统的优化算法，如系统算力不高的情况下，应使得运算量减少、样本数据相对较少，要求样本可以多次利用。

发明内容

为了克服现有技术的不足，本发明的目的在于提供低算力要求的神经网络分块优化方法及分块优化器，旨在解决传统的优化器应用于低算力要求的场景时神经网络优化的运算量较高、样本数据较大、样本不可多次利用的问题。

本发明的目的采用以下技术方案实现：

一种低算力要求的神经网络分块优化方法，包括：

步骤S1，分解隐层拓扑，完成隐层参数向量化；

步骤S2，根据隐层链接结构，将隐层参数形成的向量排列组成超平面；

步骤S3，在超平面的每个位置添加数据，作为超平面的初始态；

步骤S4，将超平面平分为两块区域，分别使用相同的数据集进行训练，并分别分析训练前后两块区域的数据变化程度；

步骤S5，留下变化程度较高的区域并判断该区域是否满足系统算力要求，若满足系统算力要求则进入步骤S6；否则继续重复步骤S4直至留下的变化程度较高的区域满足系统算力要求为止；

步骤S6，使用训练数据集对筛选出的区域进行训练，完成训练后若loss function满足系统要求，结束训练；反之进入步骤S7；

步骤S7，将步骤S6中满足系统算力要求的区域继续均分为两块区域，按步骤S4的方法挑选出变化较高的区域，然后从其他区域再选取相同大小的区域组成一个新的满足系统算力要求的待训练空间，继续按步骤S6的方法进行训练。

在上述实施例的基础上，优选的，所述超平面为二维超平面。

在上述任意实施例的基础上，优选的，所述步骤S3，具体为：

在超平面的每个位置添加随机生成的数据，作为超平面的初始态。

在上述任意实施例的基础上，优选的，所述步骤S7中，所述从其他区域再选取相同大小的区域组成一个新的满足系统算力要求的待训练空间的步骤，具体为：

逆向回溯至最近的区域组成一个新的满足系统算力要求的待训练空间。

或者，优选的，所述步骤S7中，所述从其他区域再选取相同大小的区域组成一个新的满足系统算力要求的待训练空间的步骤，具体为：

从第一次分块的另一半区域进行搜索，选取相同大小的区域组成一个新的满足系统算力要求的待训练空间。