[发明专利]一种加速分布式机器学习的方法及系统有效
| 申请号： | 201911155664.4 | 申请日： | 2019-11-22 |
| 公开（公告）号： | CN111210020B | 公开（公告）日： | 2022-12-06 |
| 发明（设计）人： | 李丹;王帅;耿金坤 | 申请（专利权）人： | 清华大学 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00;G06F9/48;G06F9/50;H04L67/141;H04L47/2425;H04L47/6275;H04L47/62 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 张秀程 |
| 地址： | 100084 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供一种加速分布式机器学习的方法及系统，该方法包括：将机器学习模型输入到分布式机器学习系统中，对于所述分布式机器学习系统中的任意两个节点，在所述任意两个节点之间建立多条连接，并赋予这些连接不同的优先级；将所述机器学习模型的参数分配到多条连接上进行传输，使得紧急参数能够通过高优先级连接尽快完成传输，以对分布式机器学习训练进行加速。本发明实施例考虑前向计算过程中通信和计算的重叠，通过优先传输紧急参数，减少现有机器学习框架下参数传输顺序的随机性，重叠前向计算过程中的通信和计算，隐藏通信开销，并通过网络级别的流调度协调不同节点的通信，实现分布式的通信调度，从而加速训练过程。 | ||
| 搜索关键词： | 一种 加速 分布式 机器 学习 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学，未经清华大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911155664.4/，转载请声明来源钻瓜专利网。
- 上一篇：用于手表或音乐盒的击打机构的谐振构件
- 下一篇：基板处理装置以及基板处理方法
