[发明专利]基于计算节点自组织分组的分布式神经网络混合同步训练方法有效

专利信息
申请号: 202010662415.0 申请日: 2020-07-10
公开(公告)号: CN111813858B 公开(公告)日: 2022-06-24
发明(设计)人: 陈爱国;郑旭;罗光春;田玲;谢渊;邹冰洋 申请(专利权)人: 电子科技大学
主分类号: G06F16/27 分类号: G06F16/27;G06N3/08;G06N3/04
代理公司: 成都希盛知识产权代理有限公司 51226 代理人: 陈泽斌
地址: 611731 四川省成*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 计算 节点 组织 分组 分布式 神经网络 混合 同步 训练 方法
【权利要求书】:

1.基于计算节点自组织分组的分布式神经网络混合同步训练方法,其特征在于,

包括以下步骤:

S1、采用卡尔曼滤波对计算节点的同步效率进行预测,并采用均方差分析计算节点的同步效率波动情况;

S2、基于预测的各个计算节点的同步效率以及同步效率波动情况的相似程度进行计算节点自组织实时分组;

S3、根据计算节点自组织实时分组的结果,在分组的组间与组内采用不同的同步策略训练模型;

步骤S3具体包括:

S31、当任意计算节点一轮迭代结束后,计算相似集群内部的最大迭代轮次epochmax

其中,wave代表该相似集群内部所有节点波动的平均值,nodeNumber代表该相似集群的节点个数;

S32、判断该节点是否会进入全局等待或者集群等待,若是,则进入步骤S33,否则,进入步骤S34;

S33、如果该节点进入全局等待,则需要等待所有节点拥有相同的迭代轮次后才能继续运行;如果该节点进入集群等待,则需要等待同一相似集群中所有节点拥有相同的迭代轮次后才能继续运行;

S34、如果该节点不会进入全局等待或者集群等待,则该节点进行单机异步优化,进入下一轮迭代,返回步骤S31;

步骤S32中,所述判断该节点是否会进入全局等待或者集群等待,具体包括:

(1)判断该节点与集群中所有节点的绝对迭代轮次差值是否大于预设阈值,如果大于预设阈值,则进入全局等待;

(2)如果该节点的相对迭代轮次与相似集群中最小相对轮次差值大于epoch max,则进入相似集群等待;

其中,所述绝对迭代轮次是指该节点当前已经迭代的总次数,所述相对迭代轮次是指该节点在其所在的相似集群中的迭代轮次。

2.如权利要求1所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法,其特征在于,步骤S1具体包括:

S11、对于任意计算节点i,参数服务器采集其近期每轮迭代的时间,形成固定大小的时间窗口集Ti,时间窗口集Ti中的每一个元素记录了在一次迭代中,参数服务器从发送最新模型数据至该节点,到接收完成该节点最新梯度参数所用的时间;

S12、根据节点最近一次迭代的效率与卡尔曼滤波条件,对接下来一次的迭代进行效率评估预测,获得预测的该节点下一次同步效率Tipredict

S13、求解时间窗口集Ti中元素的均方差,分析该计算节点在近期的同步效率波动情况,记为wavei,这两个变量作为计算节点评估与预测的输出。

3.如权利要求1所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法,其特征在于,步骤S2具体包括:

S21、多个相似计算节点组成相似集群,对任意节点每一轮迭代开始时,根据节点相似条件判断该节点是否需要被移出相似集群;

S22、对于需要移出相似集群的节点,将其移除,并为其创建一个新的相似集群;

S23、对满足合并条件的相似集群进行重组合并,并更新相似集群内部信息。

4.如权利要求3所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法,其特征在于,步骤S21中,所述节点相似条件包括:

对于同一个相似集群groupsimilar中的任意两个计算节点,需要满足:

其中,ThresholdT表示节点效率相似的阈值,Thresholdwave表示近期效率波动相似的阈值;表示相似集群中的节点x的预测同步效率,表示相似集群中的节点y的预测同步效率,wavex表示相似集群中的节点x的近期同步效率波动值,wavex表示相似集群中的节点y的近期同步效率波动值。

5.如权利要求3所述的基于计算节点自组织分组的分布式神经网络混合同步训练方法,其特征在于,步骤S23中,所述合并条件包括:

对于任意两个相似集群,只要这两个相似集群内部任意两个节点u和v满足并且|waveu-wavev|≤Thresholdwave则可以进行合并。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010662415.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top