[发明专利]加速神经网络模型优化的方法、装置、设备及可读介质

权利要求书

1.一种加速神经网络模型优化的方法，其特征在于，包括以下步骤：

通过GPU进行数据划分、数据通信、数据更新和数据调度来实现神经网络算法中数据的并行处理；

通过GPU使用神经网络参数的冗余性、水平按层划分或者垂直隔层划分来实现神经网络模型并行化；以及

通过GPU集成模型聚合策略提高神经网络并行化效率。

2.根据权利要求1所述的加速神经网络模型优化的方法，其特征在于，数据的并行处理包括：神经网络算法中多个小的执行单元组成一个串行模块，在不同的计算单元中对数据进行处理。

3.根据权利要求2所述的加速神经网络模型优化的方法，其特征在于，

数据划分是对一个模型训练需要使用的数据集进行分割操作；

数据通信是在数据拆分后并行的数据块在并行执行的过程中在不同的处理单元上计算各个线程内的数据并使用硬件设备的通信功能实现不同处理器上数据的互相访问；

数据更新是临时存储的数据使用合理的共享内存访问机制解决多个线程中进行数据同步的问题；以及

数据调度是使用即时线程调度策略解决多个数据块的不同个体间需要不同的算法来进行处理的问题。

4.根据权利要求1所述的加速神经网络模型优化的方法，其特征在于，通过GPU使用神经网络参数的冗余性、水平按层划分或者垂直隔层划分来实现神经网络模型并行化包括：神经网络的层次化结构可以通过使用神经网络参数的冗余性、水平按层划分或者垂直隔层划分来实现随机划分，最终达到模型并行化。

5.根据权利要求1所述的加速神经网络模型优化的方法，其特征在于，

GPU集成模型聚合策略包括：

使用压缩方法降低集成模型的参数量；以及

使用模型加和聚合法进行模型聚合得到集成模型。

6.根据权利要求5所述的加速神经网络模型优化的方法，其特征在于，

使用压缩方法降低集成模型的参数量包括：

在本地节点上使用局部数据训练出局部子模型；

本地节点通过网络相互通信获取上一步训练出的子模型，在服务器节点上进行模型集成，并利用集成模型对本地局部数据进行预测，保存预测信息；以及

利用模型压缩方法，结合上一步集成模型预测值，在本地节点上对局部子模型进行压缩，得到与局部子模型相同参数规模的集成模型，并输出结果。

7.根据权利要求5所述的加速神经网络模型优化的方法，其特征在于，

使用模型加和聚合法进行模型聚合得到集成模型包括：使用数据并行，在计算节点训练出自己的模型；或者模型参数更新后，选用合适的聚合逻辑在服务器节点对模型进行加权处理，进行模型聚合得到集成模型。

8.一种加速神经网络模型优化的装置，其特征在于，包括：

第一模块，配置用于通过GPU数据并行提高神经网络算法的学习效率；

第二模块，配置用于通过GPU模块并行提高神经网络算法的学习效率；以及

第三模块，配置用于通过GPU集成模型聚合策略提高GPU利用率和神经网络并行化效率。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-7任意一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。