[发明专利]模型的分布式训练方法、装置、设备以及存储介质

说明书

本公开提供了模型的分布式训练方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及深度学习、云计算等领域。具体实现方案为：基于待训练模型，生成初始切分策略；确定待训练模型在初始切分策略下的第一属性描述信息；第一属性描述信息用于表征待训练模型在初始切分策略下的存储空间占用情况和运行时长中的至少一项；基于第一属性描述信息，对初始切分策略进行优化，得到符合预设条件的目标切分策略；基于目标切分策略对待训练模型进行切分，得到切分结果，切分结果用于对待训练模型进行分布式训练。根据本公开的技术，针对模型的分布式训练场景，缩短了训练时长、提高了训练效率、并且降低了训练成本。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、云计算等领域，特别涉及模型的分布式训练方法、装置、设备以及存储介质。

背景技术

目前现有的在异构设备上求解最优设备切分方法的实现主要通过动态规划的方法，动态规划方法一般将问题拆解为子问题进行求解。但动态规划方法求解的范围有限，一旦改变建模方法，增加模型约束，就很难求得最优值。

发明内容

本公开提供了一种模型的分布式训练方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种模型的分布式训练方法，包括：

基于待训练模型，生成初始切分策略；初始切分策略用于表征待训练模型包含的算子和张量分别对应的分布式属性；

确定待训练模型在初始切分策略下的第一属性描述信息；第一属性描述信息用于表征待训练模型在初始切分策略下的存储空间占用情况和运行时长中的至少一项；

基于第一属性描述信息，对初始切分策略进行优化，得到符合预设条件的目标切分策略；

基于目标切分策略对待训练模型进行切分，得到切分结果，切分结果用于对待训练模型进行分布式训练。

根据本公开的另一方面，提供了一种模型的分布式训练装置，包括：

初始切分策略生成模块，用于基于待训练模型，生成初始切分策略；初始切分策略用于表征待训练模型包含的算子和张量分别对应的分布式属性；

属性描述信息确定模块，用于确定待训练模型在初始切分策略下的第一属性描述信息；第一属性描述信息用于表征待训练模型在初始切分策略下的存储空间占用情况和运行时长中的至少一项；

优化模块，用于基于第一属性描述信息，对初始切分策略进行优化，得到符合预设条件的目标切分策略；

切分模块，用于基于目标切分策略对待训练模型进行切分，得到切分结果，切分结果用于对待训练模型进行分布式训练。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。