[发明专利]数据整合方法、分布式计算节点及分布式深度学习训练系统在审
| 申请号： | 201910741235.9 | 申请日： | 2019-08-12 |
| 公开（公告）号： | CN110502576A | 公开（公告）日： | 2019-11-26 |
| 发明（设计）人： | 朱泓睿;姚成吉;田忠博;户忠哲;张晓扬;元国军 | 申请（专利权）人： | 北京迈格威科技有限公司 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06F16/23;G06F16/21;G06N3/08;H04L29/08 |
| 代理公司： | 11722 北京钲霖知识产权代理有限公司 | 代理人： | 冯志云;李志新<国际申请>=<国际公布> |
| 地址： | 100190 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种数据整合方法、分布式计算节点及分布式深度学习训练系统，其中数据整合方法用于分布式计算节点的数据整合，包括：信息确定步骤、第一发送步骤、第一接收步骤、聚合步骤、及汇总步骤。通过设置预设时间，超过预设时间时直接进行之后的步骤，从而保证了整体的效率，而在之后通过对超过预设时间接收的数据段进行补充传输和聚合，也保证了最终数据的训练完整性。从而，降低了网络对训练造成的影响，提高了效率，降低了成本。 | ||
| 搜索关键词： | 数据整合 预设 分布式计算节点 聚合步骤 时间接收 信息确定 学习训练 最终数据 数据段 聚合 发送 保证 传输 补充 网络 | ||
【主权项】：
1.一种数据整合方法，用于分布式计算节点的数据整合，其中，所述方法包括：/n信息确定步骤，确定需发送的数据段的数据信息，其中所述数据段具有数据段标识；第一发送步骤，根据所述数据信息，确定本次向第一计算节点发送的所述数据段，并发送；/n第一接收步骤，根据所述数据信息，确定本次应接收的所述数据段，并根据预设时间接收第二计算节点发出的所述数据段，如在所述预设时间内接收到所述数据段，执行聚合步骤，如在所述预设时间内未接收到所述数据段，则跳过所述聚合步骤；/n所述聚合步骤，根据接收到的数据段及其所述数据段标识，更新相应的所述数据段；/n汇总步骤，基于全部所述计算节点的所述第一接收步骤中最后应接收的所述数据段，进行整合，得到整合后的所述数据。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京迈格威科技有限公司，未经北京迈格威科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910741235.9/，转载请声明来源钻瓜专利网。
