[发明专利]数据处理方法、装置及系统有效
申请号: | 202110239252.X | 申请日: | 2018-03-05 |
公开(公告)号: | CN113098773B | 公开(公告)日: | 2022-12-30 |
发明(设计)人: | 黄伊;夏寅贲;刘孟竹 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | H04L45/00 | 分类号: | H04L45/00;H04L45/122;H04L45/74;H04L47/12;H04L47/41 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 系统 | ||
1.一种数据处理方法,其特征在于,应用于数据中心网络的交换设备,所述方法包括:
接收多个计算节点上报的数据,所述多个计算节点用于分布式执行计算任务;
对所述多个计算节点上报的数据进行合并处理;
根据路由信息向所述多个计算节点中每个计算节点发送合并处理后的数据,所述路由信息是从控制器接收的,所述路由信息和所述计算任务对应并用于指示所述多个计算节点与目标交换设备之间的数据转发路径。
2.根据权利要求1所述的方法,其特征在于,所述计算任务包括为分布式AI训练任务。
3.根据权利要求1或2所述的方法,其特征在于,所述交换设备为所述目标交换设备,所述多个计算节点上报的数据包括至少两个所述计算节点上报的,且经中间交换设备进行合并处理后的数据。
4.根据权利要求1或2所述的方法,其特征在于,所述交换设备为用于连接所述目标交换设备和至少两个所述计算节点的中间交换设备;
所述对所述多个计算节点上报的数据进行合并处理,包括:
对至少两个所述计算节点上报的数据进行合并处理。
5.根据权利要求1-4任一所述的方法,其特征在于,所述路由信息中还包括所述计算任务的任务标识。
6.根据权利要求1-5任一所述的方法,其特征在于,所述对所述多个计算节点上报的数据进行合并处理,包括:
按照所述计算任务对应的合并处理类型,对所述多个计算节点上报的数据进行合并处理。
7.根据权利要求6所述的方法,其特征在于,所述合并处理类型包括:计算平均值、计算加权平均值、求和、计算最大值和计算最小值中的任一种。
8.根据权利要求1-7任一所述的方法,其特征在于,所述路由信息包括所述目标交换设备的标识,所述方法还包括:
根据所述路由信息,向所述目标交换设备发送合并处理后的数据。
9.一种数据处理装置,其特征在于,应用于数据中心网络的交换设备,所述数据处理装置包括:
接收模块,用于接收多个计算节点上报的数据,所述多个计算节点用于分布式执行计算任务;
处理模块,用于对所述多个计算节点上报的数据进行合并处理;
发送模块,用于根据路由信息向所述多个计算节点中每个计算节点发送合并处理后的数据,所述路由信息是从控制器接收的,所述路由信息和所述计算任务对应,并用于指示所述多个计算节点与目标交换设备之间的数据转发路径。
10.根据权利要求9所述的装置,其特征在于,所述计算任务包括为分布式AI训练任务。
11.根据权利要求9或10所述的装置,其特征在于,所述交换设备为所述目标交换设备,所述多个计算节点上报的数据包括至少两个所述计算节点上报的,且经中间交换设备进行合并处理后的数据。
12.根据权利要求9或10所述的装置,其特征在于,所述交换设备为用于连接所述目标交换设备和至少两个所述计算节点的中间交换设备;
所述处理模块,用于:
对至少两个所述计算节点上报的数据进行合并处理。
13.根据权利要求9-12任一所述的装置,其特征在于,所述接收模块,还用于:
接收所述控制器发送的计算任务对应的路由信息。
14.根据权利要求9-13任一所述的装置,其特征在于,所述路由信息中还包括所述计算任务的任务标识。
15.根据权利要求9-14任一所述的装置,其特征在于,所述处理模块,用于:
按照所述计算任务对应的合并处理类型,对所述多个计算节点上报的数据进行合并处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110239252.X/1.html,转载请声明来源钻瓜专利网。