[发明专利]一种机器学习网络运行方法、装置及介质

说明书

本公开是关于一种机器学习网络运行方法、装置和介质。该方法包括：针对机器学习网络的操作，配置第一主运行设备和第一备选运行设备；获取针对至少一个操作的第一主运行设备的第一性能参数和第一备选运行设备的第二性能参数；基于第一性能参数和第二性能参数，从第一主运行设备和第一备选运行设备中选择性能参数的值最小的运行设备作为操作的更新后的第二主运行设备，其中，性能参数包括与操作相关的切换时间开销、运行时间开销和运行功耗；通过第二主运行设备，运行机器学习网络。本公开的方法提升了网络的运行性能，并且克服了在网络运行过程中由于操作在某个设备上无法运行而导致的频繁切换设备的问题。

技术领域

本公开涉及深度学习领域，尤其涉及一种机器学习网络运行方法、装置及介质。

背景技术

人工智能(简称AI)的移动端芯片具有异构特性。随着人工智能热度的不断攀升，除了原有的中央处理器(简称CPU)，图形处理器(简称GPU)和数字信号处理(简称DSP)计算芯片外，还催生了大量人工智能芯片，如神经网络处理器(简称NPU)、加速处理器(简称APU)，这些芯片技术的不断进步，促进了深度学习的落地，但与此同时，也产生了大量的工作量。这是因为，各家芯片编程接口不统一，性能具有差异化，适用的操作也不同。例如，有些芯片如GPU适合运行卷积等图像处理相关的操作，但不适合执行高维度数组操作，而CPU/DSP等芯片适合数组操作，但处理图像操作的精度和性能不如GPU。

以机器学习网络中的深度学习网络为例来进行说明。深度学习网络对应的拓扑结构可以看作是一个有向无环图(简称DAG)，拓扑图中每一个节点上的操作可能有多个输入和多个输出，它的输出数据会作为其他节点上操作的输入。通常，一个网络只能运行在同一个设备上，用户会选择一个目标设备运行该网络。如果该设备不适合网络中的某些操作，则只能调度到其他设备上运行，例如CPU。

发明内容

为克服相关技术中存在的问题，本公开提供一种机器学习网络运行方法、装置及介质，采用该方法运行机器学习网络的操作，能够减少切换次数，使运行更加稳定。

根据本公开实施例的第一方面，提供一种机器学习网络运行方法，所述方法包括：

针对所述机器学习网络的操作，配置第一主运行设备和第一备选运行设备；

获取针对至少一个所述操作的所述第一主运行设备的第一性能参数和所述第一备选运行设备的第二性能参数；

基于所述第一性能参数和所述第二性能参数，从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备，其中，所述性能参数包括与所述操作相关的切换时间开销、运行时间开销和运行功耗；

通过所述第二主运行设备，运行所述机器学习网络。

其中，所述与所述操作相关的切换时间开销为：所述操作的上游操作的第二主运行设备切换到所述操作的所述第二主运行设备的时间开销及所述操作的所述第二主运行设备切换到所述操作的下游操作的第一主运行设备的时间开销的总和。

其中，所述从所述第一主运行设备和所述第一备选运行设备中选择性能参数的值最小的运行设备作为所述操作的更新后的第二主运行设备包括：

基于所述机器学习网络对应的拓扑结构的拓扑排序，确定所述机器学习网络中各操作的运行顺序；

按照所述运行顺序，确定所述机器学习网络中每个操作对应的所述第二主运行设备。

其中，所述针对所述机器学习网络的操作配置第一主运行设备和第一备选运行设备，包括：

从所述机器学习网络中确定计算量大于第一预定计算量的操作；

针对所确定的操作配置所述第一主运行设备和所述第一备选运行设备。