[发明专利]加速神经网络模型优化的方法、装置、设备及可读介质

说明书

本发明公开了一种加速神经网络模型优化的方法、装置、计算机设备和介质，方法包括：通过GPU进行数据划分、数据通信、数据更新和数据调度来实现神经网络算法中数据的并行处理；通过GPU使用神经网络参数的冗余性、水平按层划分或者垂直隔层划分来实现神经网络模型并行化；以及通过GPU集成模型聚合策略提高神经网络并行化效率。本方法从模型并行和数据并行角度进行分析，从优化框架，优化算法，提高GPU利用率和GPU模型聚合并行化几个方面进行处理，选择合适的优化框架和算法，使用GPU模型聚合方法进行模型聚合，提高神经网络并行化效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于GPU的并行循环加速神经网络模型优化的方法、装置、设备及可读介质。

背景技术

当前深度学习和大数据技术与各行各业有着紧密的联系，但当今如此庞大的数据产生，传统的数据分析方法已经不能满足处理体积数量浩大、多种来源、不同数据结构和变化快速的数据，而深度神经网络拥有很强的特征抽取与概括、资源整合、处理异构数据和动态抓取的能力。同时，体量浩大的数据为深度神经网络的训练提供了强大的资源支持。

截止目前，深度学习的循环神经网络在各个领域被广泛应用，在解决各种问题方面也取得了很好的效果，而目前面临的问题是在大批量数据的深度学习训练过程中设计的网络模型更大更深，导致训练任务时间大大加长，进而出现成本增加，时效性变低的问题。基于此如何利用GPU并行批量处理训练任务来解决需要解决的问题需要进一步研究。

发明内容

有鉴于此，本发明实施例的目的在于提出一种加速神经网络模型优化的方法。该方法从模型并行和数据并行角度进行分析，从优化框架，优化算法，提高GPU利用率和GPU模型聚合并行化几个方面进行处理，选择合适的优化框架和算法，使用GPU模型聚合方法进行模型聚合，提高神经网络并行化效率。

基于上述目的，本发明实施例的一方面提供了一种加速神经网络模型优化的方法。该方法包括通过GPU进行数据划分、数据通信、数据更新和数据调度来实现神经网络算法中数据的并行处理；通过GPU使用神经网络参数的冗余性、水平按层划分或者垂直隔层划分来实现神经网络模型并行化；以及通过GPU集成模型聚合策略提高神经网络并行化效率。

在一些实施方式中，数据的并行处理包括：神经网络算法中多个小的执行单元组成一个串行模块，在不同的计算单元中对数据进行处理。

在一些实施方式中，数据划分是对一个模型训练需要使用的数据集进行分割操作；数据通信是在数据拆分后并行的数据块在并行执行的过程中在不同的处理单元上计算各个线程内的数据并使用硬件设备的通信功能实现不同处理器上数据的互相访问；数据更新是临时存储的数据使用合理的共享内存访问机制解决多个线程中进行数据同步的问题；以及数据调度是使用即时线程调度策略解决多个数据块的不同个体间需要不同的算法来进行处理的问题。

在一些实施方式中，通过GPU使用神经网络参数的冗余性、水平按层划分或者垂直隔层划分来实现神经网络模型并行化包括：神经网络的层次化结构可以通过使用神经网络参数的冗余性、水平按层划分或者垂直隔层划分来实现随机划分，最终达到模型并行化。

在一些实施方式中，GPU集成模型聚合策略包括：使用压缩方法降低集成模型的参数量；以及使用模型加和聚合法进行模型聚合得到集成模型。

在一些实施方式中，使用压缩方法降低集成模型的参数量包括：在本地节点上使用局部数据训练出局部子模型；本地节点通过网络相互通信获取上一步训练出的子模型，在服务器节点上进行模型集成，并利用集成模型对本地局部数据进行预测，保存预测信息；以及利用模型压缩方法，结合上一步集成模型预测值，在本地节点上对局部子模型进行压缩，得到与局部子模型相同参数规模的集成模型，并输出结果。

在一些实施方式中，使用模型加和聚合法进行模型聚合得到集成模型包括：使用数据并行，在计算节点训练出自己的模型；或者模型参数更新后，选用合适的聚合逻辑在服务器节点对模型进行加权处理，进行模型聚合得到集成模型。