[发明专利]基于冷热分离的梯度聚合方法与系统

权利要求书

1.一种基于冷热分离的梯度聚合方法，其特征在于，包括：

步骤1，对稀疏场景的训练数据进行随机采样以对稀疏模型进行预训练；

步骤2，统计该稀疏模型的预训练过程中参数的频率，并根据该频率的大小将该参数分类为热参数或冷参数；

步骤3，利用该稀疏场景的训练数据对该稀疏模型进行重新训练，各训练节点分别传输该重新训练过程中的热参数梯度和冷参数梯度；

步骤4，该热参数梯度在可编程交换机上进行聚合后发送至远程服务器进行同步，该冷参数梯度由该可编程交换机直接该发送至远程服务器上进行聚合及同步；

该步骤3包括：

步骤31，将该稀疏场景的训练数据切分为多段训练数据并分别发送至各该训练节点以解析该稀疏模型的参数；

步骤32，各该训练节点从该远程服务器拉取该稀疏模型的参数的最新值，并结合该训练数据进行训练，计算对应的参数梯度；

步骤33，各该训练节点根据冷热参数的标记将计算的该参数梯度分类为该热参数梯度和该冷参数梯度，并对该热参数梯度和该冷参数梯度分别进行封装与发送；

该步骤4包括：

步骤41，对该热参数按照名字符号大小进行排序，并根据该排序对该热参数进行分组；

步骤42，该可编程交换机根据该热参数的分组对寄存器进行分组，对携带该热参数梯度的数据包按照该分组进行解析，并将解析结果加至对应的该寄存器分组以进行该热参数梯度的聚合。

2.如权利要求1所述的基于冷热分离的梯度聚合方法，其特征在于，该步骤1包括：

步骤11，利用随机函数对大规模的该稀疏场景的训练数据进行随机采样得到小规模的训练数据集；

步骤12，将该训练数据集切分为多段训练数据并分别发送至各训练节点以解析该稀疏模型的参数；

步骤13，各该训练节点从远程服务器拉取该稀疏模型的参数的最新值，并结合该训练数据集进行训练，计算对应的参数梯度；

步骤14，各该训练节点将计算的该参数梯度发送至该远程服务器进行全局同步。

3.如权利要求2所述的基于冷热分离的梯度聚合方法，其特征在于，该步骤2中，利用可编程交换机截获并统计各该训练节点发送至该该远程服务器的该参数的频率，并根据该频率大小对该参数进行排序，将频率之和大于等于全部参数的频率之和的50%的前N个参数标记为该热参数，其余标记为该冷参数。

4.一种基于冷热分离的梯度聚合系统，其特征在于，包括：

模型预训练模块，用于对稀疏场景的训练数据进行随机采样以对稀疏模型进行预训练；

冷热参数标记模块，用于统计该稀疏模型的预训练过程中参数的频率，并根据该频率的大小将该参数分类为热参数或冷参数；

模型重训练模块，用于利用该稀疏场景的训练数据对该稀疏模型进行重新训练，各训练节点分别传输该重新训练过程中的热参数梯度和冷参数梯度；

梯度聚合模块，用于该热参数梯度在可编程交换机上进行聚合后发送至远程服务器进行同步，该冷参数梯度由该可编程交换机直接该发送至远程服务器上进行聚合及同步；

该模型重训练模块包括：

参数解析子模块，用于将该稀疏场景的训练数据切分为多段训练数据并分别发送至各该训练节点以解析该稀疏模型的参数；

参数更新子模块，用于各该训练节点从该远程服务器拉取该稀疏模型的参数的最新值，并结合该训练数据进行训练，计算对应的参数梯度；

冷热参数分类子模块，用于各该训练节点根据冷热参数的标记将计算的该参数梯度分类为该热参数梯度和该冷参数梯度，并对该热参数梯度和该冷参数梯度分别进行封装与发送；

该梯度聚合模块包括：

热参数分组子模块，用于对该热参数按照名字符号大小进行排序，并根据该排序对该热参数进行分组；

热参数聚合子模块，用于该可编程交换机根据该热参数的分组对寄存器进行分组，对携带该热参数梯度的数据包按照该分组进行解析，并将解析结果加至对应的该寄存器分组以进行该热参数梯度的聚合。