[发明专利]神经网络模型的运行方法、可读介质和电子设备

说明书

本申请涉及人工智能领域，公开了一种神经网络模型的运行方法、可读介质和电子设备。该方法应用于处理器包括多个内核的电子设备，并且该方法包括：在运行神经网络模型的过程中，检测到处理器存在N个空闲内核；对于神经网络模型中当前未被运行的M个计算节点，按照分配优先级从高到低的顺序，选择出L个未被运行的计算节点分配给所述N个空闲内核中的L个空闲内核，其中，N、M、L为正整数，并且L≤N。由于运行顺序在前的计算节点的分配优先级较高，从而可以降低处理器内核的空闲率，进而提高电子设备运行神经网络模型的速度。

技术领域

本申请涉及人工智能领域，特别涉及一种神经网络模型的运行方法、可读介质和电子设备。

背景技术

随着神经网络模型的计算节点的数量的增加，为提高神经网络模型的运行速度，可以利用多核计算资源对神经网络模型进行并行计算。例如，电子设备在运行神经网络模型之前，可以先随机确定电子设备的处理器中用于运行神经网络模型中各计算节点的内核，以便于电子设备在运行该神经网络模型时，可以通过分配的内核运行各计算节点，实现神经网络模型的并行计算。但是，处理器的内核数量通常小于神经网络模型的计算节点的数量，在某一计算节点的输入数据为其他计算节点的计算结果，但该计算结果还未计算完成的情况下，由于已经预先确定用于运行各计算节点的内核，会造成用于运行该计算节点的内核由于等待输入数据而处于空闲状态，造成处理器内核资源的浪费，降低了神经网络模型并行计算的速度。

发明内容

有鉴于此，本申请实施例提供了一种神经网络模型的运行方法、可读介质和电子设备。电子设备在运行神经网络模型的过程中，若检测到电子设备的处理器有空闲内核，根据各计算节点的分配优先级从高到低将计算节点分配给空闲内核，从而提高处理器内核的利用率、提高电子设备运行神经网络模型的速度。

第一方面，本申请实施例提供了一种神经网络模型的运行方法，应用于电子设备，其特征在于，电子设备的处理器包括多个内核；并且该方法包括：

在运行神经网络模型的过程中，检测到处理器存在N个空闲内核；对于该神经网络模型中当前未被运行的M个计算节点，按照分配优先级从高到低的顺序，选择出L个未被运行的计算节点分配给所述N个空闲内核中的L个空闲内核，其中，N、M、L为正整数，并且L≤N。

在本申请实施例中，电子设备是先将分配优先级较高的计算节点，分配给空闲的内核，可以减小空闲内核分配计算节点等待该计算节点的输入数据的时间，如此可以降低处理器内核的空闲率，从而提高电子设备运行神经网络模型的速度。

在上述第一方面的一种可能实现中，根据神经网络模型各计算节点的运行顺序，确定各计算节点的分配优先级。

也即是在本申请实施例中，神经网络模型的计算节点的运行顺序越靠前，该计算节点的分配优先级越高。

在上述第一方面的一种可能实现中，根据神经网络模型各计算节点的运行顺序，确定各计算节点的分配优先级，包括：在待分配优先级的待分配计算节点未连接输入计算节点的情况下，确定待分配计算节点的优先级为第1级；在待分配计算节点连接至少一个输入计算节点、并且所连接的至少一个输入计算节点所具有的最高分配优先级为第j级的情况下，确定待分配计算节点的优先级为第j+1级，其中，第j级所表示的优先级高于第j+1级；

其中一计算节点的输入计算节点是指输出结果为该计算节点的输入数据的计算节点。

在上述第一方面的一种可能实现中，在MN的情况下，L＝N；未被运行的计算节点中的所具有的最高分配优先级为第k级，第k级分配优先级包括P个未被运行的计算节点；并且

按照分配优先级从高到低的顺序，选择出L个未被运行的计算节点分配给N个空闲内核中的L个空闲内核，包括：在PL的情况下，将P个未被运行的计算节点分配给L个空闲内核中的P个空闲内核，并且按照分配优先级从高到低的顺序从分配优先级低于第k级的计算节点中选取L-P个计算节点分配给未分配计算节点的L-P个空闲内核；