[发明专利]调度方法及相关装置

权利要求书

1.一种调度方法，其特征在于，所述方法基于包含多个计算装置的服务器，所述计算装置用于执行神经网络运算；所述方法包括：

接收M个运算请求，所述M为正整数；

根据所述M个运算请求中每一运算请求的属性信息从所述多个计算装置中选取至少一个目标计算装置，并确定所述至少一个目标计算装置中每一目标计算装置对应的运算指令；

根据所述至少一个目标计算装置中每一目标计算装置对应的运算指令对所述M个运算请求对应的运算数据进行计算，得到M个最终运算结果；

将所述M个最终运算结果中每一最终运算结果发送至对应的电子设备；

所述属性信息包括目标神经网络模型，所述至少一个目标计算装置为多个目标串行计算装置，所述根据所述M个运算请求中每一运算请求的属性信息从所述多个计算装置中选取至少一个目标计算装置，并确定所述至少一个目标计算装置中每一目标计算装置对应的运算指令，包括：

若所述M大于1，且所述M个运算请求对应多个目标神经网络模型，从所述多个计算装置中选取与多个目标神经网络模型中每一目标神经网络模型对应的所述多个目标串行计算装置，并确定所述多个目标串行计算装置中每一目标串行计算装置对应的运算指令为执行该目标串行计算装置对应的目标神经网络模型所对应的运算请求；

从所述多个计算装置中选取与多个串行指令对应的多个串行计算装置，包括：对所述多个串行指令进行分组得到多组串行指令序列；从所述多个计算装置中选取与所述多组串行指令序列中每组串行指令序列对应的计算装置得到所述多组串行计算装置。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

等待第一预设时长，检测所述至少一个目标计算装置中每一目标计算装置是否返回对应运算指令的最终运算结果，若否，将未返回最终运算结果的目标计算装置作为延迟计算装置；

根据所述延迟计算装置对应的运算指令从所述多个计算装置的空闲计算装置中选取备用计算装置；

通过所述备用计算装置执行所述延迟计算装置对应的运算指令。

3.根据权利要求2所述的方法，其特征在于，在所述通过所述备用计算装置执行所述延迟计算装置对应的运算指令之后，所述方法还包括：

获取所述延迟计算装置和所述备用计算装置之间最先返回的最终运算结果；

向所述延迟计算装置和所述备用计算装置之间未返回最终运算结果的计算装置发送暂停指令。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

等待第二预设时长，检测所述延迟计算装置是否返回对应运算指令的最终运算结果，若否，将所述未返回最终运算结果的延迟计算装置作为故障计算装置，发送故障指令，所述故障指令用于告知运维人员所述故障计算装置发生故障，所述第二预设时长大于所述第一预设时长。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

每隔目标时间阈值，更新所述服务器的散列表。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

获取指定神经网络模型集中每一指定神经网络模型的运算需求和所述多个计算装置中每一计算装置的硬件属性得到多个运算需求和多个硬件属性；

根据所述多个运算需求和所述多个硬件属性将所述指定神经网络模型集中每一指定神经网络模型对应的指定计算装置上部署对应的指定神经网络模型。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述计算装置包括至少一个计算载体，所述计算载体包括至少一个计算单元。

8.一种服务器，其特征在于，所述服务器包括多个计算装置，所述服务器还包括：用于执行如权利要求1-7任一项所述的方法的单元。

9.一种服务器，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-7任一项方法中的步骤的指令。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。