[发明专利]数据处理方法、装置、电子设备和存储介质

说明书

本公开提供了一种数据处理方法，涉及人工智能技术领域，尤其涉及分布式计算技术和深度学习技术。具体实现方案为：针对至少一个计算图中每个计算图，执行以下操作：针对该计算图中的多个目标对象，根据每个目标对象的分布式属性，对每个目标对象进行N次切分，得到多个目标子对象，其中，N为大于或等于1的整数；根据所述多个目标子对象，得到N个计算子图；以及根据所述每个计算图的N个计算子图，进行数据处理。本公开还提供了一种数据处理装置、电子设备和存储介质。

技术领域

本公开涉及人工智能技术领域，尤其涉及分布式计算技术和深度学习技术。更具体地，本公开提供了一种数据处理方法、装置、电子设备和存储介质。

背景技术

相关技术中，在应用分布式技术进行模型训练时，可以利用多个设备执行一个模型训练任务。例如，可以将模型的参数、中间变量和算子等分配到多个设备，以利用多个设备执行模型训练任务。

发明内容

本公开提供了一种数据处理方法、装置、设备以及存储介质。

根据第一方面，提供了一种数据处理方法，该方法包括：针对至少一个计算图中每个计算图，执行以下操作：针对该计算图中的多个目标对象，根据每个目标对象的分布式属性，对每个目标对象进行N次切分，得到多个目标子对象，其中，N为大于或等于1的整数；根据上述多个目标子对象，得到N个计算子图；以及根据上述每个计算图的N个计算子图，进行数据处理。

根据第二方面，提供了一种数据处理装置，该装置包括：执行模块，用于针对至少一个计算图中每个计算图，通过以下子模块执行相关操作：切分子模块，用于针对该计算图中的多个目标对象，根据每个目标对象的分布式属性，对每个目标对象进行N次切分，得到多个目标子对象，其中，N为大于或等于1的整数；获得子模块，用于根据上述多个目标子对象，得到N个计算子图；以及处理子模块，用于根据上述每个计算图的N个计算子图，进行数据处理。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现根据本公开提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一个实施例的可以应用数据处理方法和装置的示例性系统架构示意图；

图2是根据本公开一个实施例的数据处理方法的流程图；

图3是根据本公开另一个实施例的数据处理方法的流程图；

图4A是根据本公开一个实施例的计算图的示意图；

图4B是根据本公开一个实施例的数据处理方法的原理图；

图5是根据本公开另一个实施例的数据处理方法的原理图；

图6是根据本公开一个实施例的数据处理装置的框图；以及

图7是根据本公开一个实施例的应用数据处理方法的电子设备的框图。

具体实施方式