[发明专利]基于异构加速平台的分布式计算调整方法、装置及设备

权利要求书

1.一种基于异构加速平台的分布式计算调整方法，其特征在于，包括：

在目标深度学习模型基于异构加速平台完成分布式计算时，获取与分布式计算相关的至少一种目标性能数据；

如果目标性能数据符合与所述目标性能数据对应的异常条件，则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整。

2.根据权利要求1所述的方法，其特征在于，获取与分布式计算相关的至少一种目标性能数据，包括：

获取当前分布式计算的多节点多卡训练性能数据，并根据所述多节点多卡训练性能数据和标准单卡训练性能数据计算当前加速比；

如果所述当前加速比与理论加速比的差值大于预设阈值，则获取与分布式计算相关的至少一种目标性能数据。

3.根据权利要求1或2所述的方法，其特征在于，所述目标性能数据包括：分布式学习工具中计算汇总耗时；

如果目标性能数据符合与所述目标性能数据对应的异常条件，则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整，包括：

如果所述分布式学习工具中计算汇总耗时大于预设耗时阈值，则对分布式学习工具的内部优化器进行修正。

4.根据权利要求1或2所述的方法，其特征在于，所述目标性能数据包括：计算节点内加速卡间的通信延迟；

如果目标性能数据符合与所述目标性能数据对应的异常条件，则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整，包括：

如果计算节点内加速卡间的通信延迟大于预设通信时长，则调整计算节点内加速卡间的通信方式，以减小计算节点内加速卡间的通信延迟。

5.根据权利要求1或2所述的方法,其特征在于，所述目标性能数据包括：加速卡迭代计算的空闲时长；

如果目标性能数据符合与所述目标性能数据对应的异常条件，则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整，包括：

如果所述加速卡迭代计算的空闲时长大于预设空闲时长，则并行化数据准备操作与加速卡迭代计算操作。

6.根据权利要求1或2所述的方法,其特征在于，所述目标性能数据包括：数据集读取速率；

如果目标性能数据符合与所述目标性能数据对应的异常条件，则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整，包括：

如果所述数据集读取速率小于预设速率阈值，则在新增固态磁盘中读取相关数据集；其中，所述相关数据集由原有磁盘迁移至所述新增固态磁盘中，所述新增固态磁盘的容量大于预设容量值。

7.根据权利要求1或2所述的方法，其特征在于，所述目标性能数据包括节点收发速率；

如果目标性能数据符合与所述目标性能数据对应的异常条件，则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整，包括：

如果目标计算节点的节点收发速率异常，则提示对目标计算节点进行更新或更换。

8.一种基于异构加速平台的分布式计算调整装置，其特征在于，包括：

目标性能数据获取模块，用于在目标深度学习模型基于异构加速平台完成分布式计算时，获取与分布式计算相关的至少一种目标性能数据；

分布式计算调整模块，用于如果目标性能数据符合与所述目标性能数据对应的异常条件，则根据与所述目标性能数据匹配的调整策略对基于异构加速平台的分布式计算进行调整。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。