[发明专利]一种基于强化学习的神经网络自适应分布式并行训练方法

说明书

本发明公开了一种基于强化学习的神经网络自适应分布式并行训练方法，为大规模复杂神经网络的切分和调度提供最优化解决方案。本发明首先分析神经网络模型结构和计算属性对执行性能的影响，在此基础上提取包括计算代价、通信代价和内存使用率等性能因子，构建能够全面体现分布式训练性能的多维性能评价模型，提高并行策略综合性能；其次利用前馈网络根据算子属性特征实现算子自适应分组，确定并行度，减小搜索空间的同时实现了端到端的策略搜索；最后基于重要性采样，采用近端策略梯度迭代优化强化学习模型，搜索最优切分和调度策略，扩展策略网络离线学习能力，提高算法平稳性、收敛速率以及策略搜索性能。

技术领域

本发明涉及一种基于强化学习的神经网络自适应分布式并行训练方法，为大规模复杂神经网络提供最优的模型并行训练方案。

背景技术

近年来，受益于AI算法、硬件计算能力和数据集发展，深度神经网络技术在自然语言处理、计算机视觉和搜索推荐等领域应用广泛。由于这些领域不断迭代研发规模更大，结构更复杂的神经网络，因此“摩尔定律”已难以匹配计算需求，单设备已无法支持大规模深度网络训练。因此，研究切分神经网络计算图，并将切分后的网络调度至含有多个CPU和GPU集群，实现模型并行训练已成为解决大规模神经网络训练的通用方法。

业界通常将神经网络计算图横向按层划分、纵向跨层划分或随机划分并调度至不同设备执行，但这些方法严重依赖专家经验，切分方式不合理，集群利用率低而且通常具有较大通信开销。

基于“图搜索”的启发式方法是指导模型并行训练方法之一，F.Pellegrini等人提出Scotch静态图切分方法，通过计算各节点成本和流过每条边的数据量，指导静态图切分，平衡工作负载以最小化通信成本，但该方法无法直接适用于动态环境。Jia等人提出FlexFlow框架，使用有向图描述DNN所有计算和状态，从算子、样本、参数以及特征四个维度的并行空间中自动搜索有效策略；Zhang等人针对数据同步并行问题提出AutoSync，随机搜索同步并行空间，获得最佳同步并行策略；Peng等人提出Optimus框架针对PS框架建立绩效模型，准确预估机器学习训练速度，通过构建在线资源性能模型来最小化作业训练时间。这些方法虽然在特定场景具有较好效果，但受限于网络类型(如FlexFlow只适用于DNN)、场景(如AutoSync只适用于数据同步并行，且只针对参数服务器架构)限制，难以获得普适推广。

另一类方法是通过机器学习指导模型切分和资源调度，Kim等人研发的Parallex通过学习线性模型调整变量大小，以实现自适应张量划分；Peter等人使用贝叶斯优化确定资源调度的信用度大小；Uber团队研发Horovod利用贝叶斯对可调节部分进行优化。但是上述方法并行维度较为单一，主体调优模型简单，而且这些方法聚焦于分布式运行策略运行时间的优化，并不能保证策略除运行时间外的其他性能。

因此，本发明研究上述缺陷，设计并实现一种基于强化学习的神经网络自适应分布式并行训练方法。

发明内容

本发明设计并实现一种基于强化学习的神经网络自适应分布式并行训练方法。通过构建能够全面体现分布式训练性能的多维性能评价模型，提高并行策略综合性能；根据算子属性特征实现算子自适应分组，确定并行度，从而达到减小搜索空间，实现自适应训练的目的；采用近端策略梯度方法迭代优化强化学习模型，扩展策略网络离线学习能力，提高算法平稳性、收敛速率以及策略搜索性能。

一种基于强化学习的神经网络自适应分布式并行训练方法，步骤如下：

步骤1：构建多维性能评价模型R(π_g,π_s)，衡量分布式并行策略综合性能。首先分析影响神经网络执行性能的因素，包括神经网络模型结构、计算属性和集群拓扑等；其次提取计算代价E_i、通信代价C_i和内存使用率M_i等性能因子，最后通过以下两个步骤构建能够全面体现分布式训练性能的多维性能评价模型：