[发明专利]模型的分布式训练方法、装置、设备以及存储介质

权利要求书

1.一种模型的分布式训练方法，包括：

基于待训练模型，生成初始切分策略；所述初始切分策略用于表征所述待训练模型包含的算子和张量分别对应的分布式属性；

确定所述待训练模型在所述初始切分策略下的第一属性描述信息；所述第一属性描述信息用于表征所述待训练模型在所述初始切分策略下的存储空间占用情况和运行时长中的至少一项；

基于所述第一属性描述信息，对所述初始切分策略进行优化，得到符合预设条件的目标切分策略；

基于所述目标切分策略对所述待训练模型进行切分，得到切分结果，所述切分结果用于对所述待训练模型进行分布式训练；

其中，基于所述第一属性描述信息，对所述初始切分策略进行优化，得到符合预设条件的目标切分策略，包括：

对所述初始切分策略进行至少一次优化处理，得到至少一个预选切分策略；

确定所述待训练模型在各所述预选切分策略下的第二属性描述信息，所述第二属性描述信息用于表征所述待训练模型在所述预选切分策略下的存储空间占用情况和运行时长中的至少一项；

根据所述第二属性描述信息和所述第一属性描述信息的比较结果，在所述预选切分策略中确定目标切分策略；

其中，根据所述第二属性描述信息和所述第一属性描述信息的比较结果，在所述预选切分策略中确定目标切分策略，包括：

在所述第二属性描述信息和所述第一属性描述信息的比较结果符合预设条件的情况下，根据随机生成的参考值α与参考阈值的比较结果，按照预设概率将当前的预选切分策略确定为所述目标切分策略。

2.根据权利要求1所述的方法，其中，确定所述待训练模型在所述初始切分策略下的第一属性描述信息，包括：

基于所述初始切分策略，确定所述待训练模型的计算图和硬件图；

基于所述计算图和所述硬件图，确定所述计算图中各节点的子属性描述信息，所述子属性描述信息包含子存储空间占用情况或子运行时长；

基于各所述节点的子属性描述信息，确定所述待训练模型的第一属性描述信息。

3.根据权利要求2所述的方法，其中，基于所述计算图和所述硬件图，确定所述计算图中各节点的子属性描述信息，包括：

获取所述计算图中各所述节点的节点种类；

在所述节点种类为算子的情况下，根据所述算子的类型，确定所述节点的子运行时长；以及，在所述节点种类为变量的情况下，根据所述变量的数据信息，确定所述节点的子存储空间占用情况。

4.根据权利要求3所述的方法，其中，根据所述算子的类型，确定所述节点的子运行时长，包括：

在所述算子的类型为计算类型的情况下，根据所述算子的计算时间，得到所述节点的子运行时长。

5.根据权利要求3所述的方法，其中，根据所述算子的类型，确定所述节点的子运行时长，包括：

在所述算子的类型为通信类型的情况下，根据所述算子的计算时间和通信时间，得到所述节点的子运行时长。

6.根据权利要求5所述的方法，其中，所述算子的通信时间的确定方式，包括：

根据所述硬件图中与所述算子对应的计算单元的宽带信息，确定所述算子的通信时间。

7.根据权利要求2所述的方法，其中，基于各所述节点的子属性描述信息，确定所述待训练模型的第一属性描述信息，包括：

基于各所述节点的子属性描述信息，对所有的节点进行归约处理，得到所述待训练模型的第一属性描述信息；其中，所述第一属性描述信息包含所述待训练模型在所述初始切分策略下的存储空间占用情况和运行时长。

8.根据权利要求7所述的方法，其中，对所有的节点进行归约处理，包括：

根据不同的节点之间的相互关系，对所有的节点进行归约处理，其中，所述相互关系为依赖关系或并行关系。