[发明专利]数据处理方法、装置以及电子设备在审
| 申请号: | 202010693818.1 | 申请日: | 2020-07-17 |
| 公开(公告)号: | CN111782401A | 公开(公告)日: | 2020-10-16 |
| 发明(设计)人: | 钟卫东;谭维;张晓帆 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
| 主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N3/10 |
| 代理公司: | 深圳市智圈知识产权代理事务所(普通合伙) 44351 | 代理人: | 苗燕 |
| 地址: | 523860 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 装置 以及 电子设备 | ||
1.一种数据处理方法,其特征在于,应用于电子设备,所述方法包括:
获取待运行模型中每个算子的初始算力需求,以及所述电子设备包括的多个处理单元的初始处理能力;
获取当次模型分割对应的算力需求以及处理能力,其中初次模型分割对应的处理能力为所述初始处理能力,每次模型分割对应的算力需求为所述初始算力需求;
基于目标规则、所述当次模型分割对应的算力需求以及所述处理能力,对所述待运行模型进行分割,得到当次模型分割对应的多个子部分;
将当次模型分割对应的多个子部分加载到所述多个处理单元进行运行,得到每个所述处理单元对应于所述当次模型分割的性能参数;
若所述性能参数不满足性能目标条件,基于所述性能参数重新计算所述多个处理单元的处理能力,作为下一次模型分割对应的处理能力;
若所述性能参数满足所述性能目标条件,基于所述当次模型分割对应的多个子部分运行所述待运行模型。
2.根据权利要求1所述的方法,其特征在于,所述获取当次模型分割对应的算力需求以及处理能力,包括:获取当轮分割调整中当次模型分割对应的算力需求以及处理能力;
所述若所述性能参数满足所述性能目标条件,基于所述当次模型分割对应的多个子部分运行所述待运行模型,包括:
若所述性能参数满足所述性能目标条件,调整所述当次模型分割对应的多个子部分各自包括的算子的比例,得到当轮分割调整对应的多个子部分;
若检测到训练次数未满足次数目标条件,将所述当轮分割调整对应的多个子部分加载到所述多个处理单元进行运行,得到并存储每个所述处理单元对应于所述当轮分割调整的性能参数;
进入下一轮分割调整,并将基于所述当轮分割调整的性能参数得到的处理能力作为所述下一轮分割调整中的初次模型分割对应处理能力;
若检测到训练次数满足所述次数目标条件,从存储的多轮分割调整的性能参数中选择第一目标性能参数,基于所述第一目标性能参数对应的多个子部分运行所述待运行模型。
3.根据权利要求2所述的方法,其特征在于,调整所述当次模型分割对应的多个子部分各自包括的算子的比例,包括:
增加对应的性能参数所表征的性能最优的子部分中的算子数量;
减少对应的性能参数所表征的性能最差的子部分中的算子数量。
4.根据权利要求2所述的方法,其特征在于,所述获取待运行模型中每个算子的初始算力需求,以及所述电子设备包括的多个处理单元的初始处理能力,包括:获取当轮优化调整中待运行模型中每个算子的初始算力需求,以及所述电子设备包括的多个处理单元的初始处理能力;
所述若检测到训练次数满足次数目标条件,从存储的多轮分割调整的性能参数中选择第一目标性能参数,基于所述第一目标性能参数对应的多个子部分运行所述待运行模型,包括:
若检测到训练次数满足次数目标条件,从存储的多轮分割调整的性能参数中选择当轮优化调整的第一目标性能参数;
若检测到所述优化调整的轮次不满足所述次数目标条件,进入下一轮的优化调整,并将当轮优化调整的每个算子的初始算力需求基于指定的随机范围进行变化后得到的算力需求作为下一轮的优化调整的初始算力需求,以及将当轮优化调整的初始处理能力基于指定的随机范围进行变化后得到的处理能力作为下一轮的优化调整的初始处理能力;
若检测到训练次数满足所述次数目标条件且检测到所述优化调整的轮次满足调优目标条件,从存储的多轮优化调整的第一目标性能参数中选择第二目标性能参数,基于所述第二目标性能参数对应的多个子部分运行所述待运行模型。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
基于所述待运行模型的复杂度确定所述次数目标条件以及所述调优目标条件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010693818.1/1.html,转载请声明来源钻瓜专利网。





