[发明专利]数据处理方法、装置以及电子设备

说明书

本申请实施例公开了一种数据处理方法、装置以及电子设备。方法包括：获取当次模型分割对应的算力需求以及处理能力；基于目标规则、当次模型分割对应的算力需求以及处理能力，对待运行模型进行分割，得到当次模型分割对应的多个子部分；将当次模型分割对应的多个子部分加载到多个处理单元进行运行，得到每个处理单元对应于当次模型分割的性能参数；若性能参数不满足性能目标条件，基于性能参数重新计算多个处理单元的处理能力，作为下一次模型分割对应的处理能力。从而可以使得在对待运行模型进行分割之后，可以通过不断的实际运行的方式来对分割方式进行调整，以获取到与实际情况适配的分割方式，以便可以提升电子设备运行模型的性能。

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种数据处理方法、装置以及电子设备。

背景技术

算法模型，例如神经网络模型是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统。一些算法模型具有大规模并行、分布式存储和处理、自组织、自适应和自学能力。但是，相关的电子设备在运行神经网络模型的过程中，还存在运行性能有待提升的问题。

发明内容

鉴于上述问题，本申请提出了一种数据处理方法、装置以及电子设备，以改善上述问题。

第一方面，本申请提供了一种数据处理方法，应用于电子设备，所述方法包括：获取待运行模型中每个算子的初始算力需求，以及所述电子设备包括的多个处理单元的初始处理能力；获取当次模型分割对应的算力需求以及处理能力，其中初次模型分割对应的处理能力为所述初始处理能力，每次模型分割对应的算力需求为所述初始算力需求；基于目标规则、所述当次模型分割对应的算力需求以及所述处理能力，对所述待运行模型进行分割，得到当次模型分割对应的多个子部分；将当次模型分割对应的多个子部分加载到所述多个处理单元进行运行，得到每个所述处理单元对应于所述当次模型分割的性能参数；若所述性能参数不满足性能目标条件，基于所述性能参数重新计算所述多个处理单元的处理能力，作为下一次模型分割对应的处理能力；若所述性能参数满足所述性能目标条件，基于所述当次模型分割对应的多个子部分运行所述待运行模型。

第二方面，本申请提供了一种数据处理装置，运行于电子设备，所述装置包括：第一参数获取单元，用于获取待运行模型中每个算子的初始算力需求，以及所述电子设备包括的多个处理单元的初始处理能力；第二参数获取单元，用于获取当次模型分割对应的算力需求以及处理能力，其中初次模型分割对应的处理能力为所述初始处理能力，每次模型分割对应的算力需求为所述初始算力需求；模型分割单元，用于基于目标规则、所述当次模型分割对应的算力需求以及所述处理能力，对所述待运行模型进行分割，得到当次模型分割对应的多个子部分；模型运行单元，用于将当次模型分割对应的多个子部分加载到所述多个处理单元进行运行，得到每个所述处理单元对应于所述当次模型分割的性能参数；所述第二参数获取单元，还用于若所述性能参数不满足性能目标条件，基于所述性能参数重新计算所述多个处理单元的处理能力，作为下一次模型分割对应的处理能力；所述模型运行单元，还用于若所述性能参数满足所述性能目标条件，基于所述当次模型分割对应的多个子部分运行所述待运行模型。

第三方面，本申请提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被启动控制器运行时执行上述的方法。