[发明专利]数据处理方法、装置、电子设备和存储介质有效
申请号: | 202111336067.9 | 申请日: | 2021-11-11 |
公开(公告)号: | CN114091686B | 公开(公告)日: | 2022-10-14 |
发明(设计)人: | 梁建中;敖玉龙;吴志华;于佃海 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06F9/46 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 鄢功军 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,包括:
针对与分布式技术平台相关的至少一个计算图中每个计算图,执行以下操作,其中,所述分布式技术平台包括多个设备,所述计算图中包括多个目标对象,所述目标对象包括第一类目标对象和第二类目标对象:
针对该计算图中的多个所述第一类目标对象,根据每个所述第一类目标对象的分布式属性,对每个所述第一类目标对象进行N次切分,得到多个第一类目标子对象,其中,N为大于或等于1的整数;
针对该计算图中的多个所述第二类目标对象,根据每个所述第二类目标对象的分布式属性,对每个所述第二类目标对象进行N次切分,得到多个第二类目标子对象;
根据所述多个第一类目标子对象和所述多个第二类目标子对象,得到N个计算子图;以及
将所述每个计算图的N个计算子图发送给所述多个设备中的N个设备,使得所述N个设备中每个设备基于一个所述计算子图进行数据处理,其中,所述每个设备将至少一个所述第一类目标子对象作为一个所述第二类目标子对象的输入。
2.根据权利要求1所述的方法,其中,所述至少一个计算图包括:
前向计算图;
反向计算图;
更新计算图;
其中,所述反向计算图是根据所述前向计算图生成的,所述更新计算图是根据所述反向计算图生成的。
3.根据权利要求2所述的方法,其中,所述前向计算图中包括多个第一目标对象,
所述方法还包括:
为每个第一目标对象添加对应该第一目标对象的分布式属性,以确定该第一目标对象的分布式属性。
4.根据权利要求3所述的方法,其中,所述反向计算图中包括多个第二目标对象,
所述方法还包括:
获取与每个第二目标对象对应的至少一个第一目标对象的分布式属性,以确定该第二目标对象的分布式属性。
5.根据权利要求4所述的方法,其中,所述更新计算图包括多个第三目标对象,
所述方法还包括:
获取与每个第三目标对象对应的至少一个第二目标对象的分布式属性,以确定该第三目标对象的分布式属性。
6.根据权利要求1至5任一项所述的方法,其中,所述第一类目标对象具有第一分布式属性和第二分布式属性,
所述针对该计算图中的多个所述第一类目标对象,根据每个所述第一类目标对象的分布式属性,对每个所述第一类目标对象进行N次切分,得到多个第一类目标子对象包括:
针对该计算图中的所述多个第一类目标对象,根据每个所述第一类目标对象的第一分布式属性和第二分布式属性,对每个所述第一类目标对象进行N次切分,得到所述多个第一类目标子对象。
7.根据权利要求6所述的方法,其中,所述第二类目标对象具有第一分布式属性,
所述针对该计算图中的多个所述第二类目标对象,根据每个所述第二类目标对象的分布式属性,对每个所述第二类目标对象进行N次切分,得到多个第二类目标子对象包括:
针对该计算图中的所述多个第二类目标对象,根据每个所述第二类目标对象的第一分布式属性,对每个所述第二类目标对象进行N次切分,得到所述多个第二类目标子对象。
8.根据权利要求1所述的方法,其中,所述针对与分布式技术平台相关的至少一个计算图中每个计算图,执行以下操作还包括:
针对所述多个第二类目标对象,根据与每个所述第二类目标对象关联的至少一个第一类目标对象的分布式属性,确定与该第二类目标对象对应的通信信息,得到多个通信信息;
根据所述多个通信信息,确定多个第三类目标子对象,每个第三类目标子对象对应至少一个第二类目标对象。
9.根据权利要求8所述的方法,其中,所述根据该所述多个第一类目标子对象和所述多个第二目标子对象,得到N个计算子图包括:
根据所述多个第一类目标子对象、所述多个第二类目标子对象和所述多个第三类目标子对象,得到N个计算子图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111336067.9/1.html,转载请声明来源钻瓜专利网。