[发明专利]多径神经网络、资源分配的方法及多径神经网络分析器

说明书

本发明提供一种多径神经网络、资源分配的方法及多径神经网络分析器。所述资源分配的方法可使用包含接口和处理装置的多径神经网络分析器来为多径神经网络最优地分配。接口接收多径神经网络。处理装置生成多径神经网络，以包含通过多径神经网络的关键路径的一个或多个层，所述一个或多个层分配有可用以执行多径神经网络的第一计算资源分配。关键路径限制多径神经网络的吞吐量。第一计算资源分配将多径神经网络的执行时间减少到小于用于多径神经网络的第二计算资源分配的基线执行时间。用于关键路径的第一层的第一计算资源分配不同于用于关键路径的第一层的第二计算资源分配。

相关申请的交叉参考

本申请要求2019年1月23日申请的美国临时申请第62/796,071号的优先权，所述临时申请的公开内容以全文引用的方式并入本文中。此外，本申请与美国专利申请序列号(代理人案号第1535-479号)并行申请，所述美国专利申请的公开内容以全文引用的方式并入本文中。

技术领域

本文中所公开的主题涉及神经网络。更具体地说，本文中所公开的主题涉及用于在多径神经网络的不同路径中将计算资源分配到不同层的系统和方法。

背景技术

典型的图形处理单元(graphic processing unit；GPU)平台并不允许GPU操作的并行执行。为在典型GPU上并行地启动多个操作，每一操作必须指派给单独执行器，也就是说，统一计算架构(Compute Unified Device Architecture；CUDA)编程模型中的单独串流。然而，针对大部分流行GPU内核并行地运行两个或大于两个GPU内核是几乎不可能的。流行内核占据所有GPU核心资源(包含暂存器和共享存储器)且并未允许GPU调度程序执行来自同一核心上的另一内核的块。当前的GPU平台依赖于用于调度安排的多个块，且另一GPU操作的并行执行可仅在块的数目低时为可能的。由于大部分GPU内核通常具有足够的块数以占据所有可用的GPU核心，另一GPU内核的执行被推迟直到第一内核完成之后为止，引起两个操作的依序执行。因此，当前的GPU平台利用用于个别层(内核)的装置(例如GPU)核心的100％，进而阻止独立内核的并行执行。

与当前GPU平台相关的另一薄弱环节是低效资源利用率。虽然GPU内核可针对在特定输入和GPU微架构上的性能优化，但计算效率和DRAM利用率并未针对用于一些输入的多种GPU算法充分优化。举例来说，一些卷积(主要是通用矩阵乘法(General MatrixMultiplication，GEMM)类)的执行时间在有限数目的核心的情况下饱和，且在额外的核心上执行卷积引起核心的利用率不足。通过并行地运行多个操作，在一个GPU操作中利用率不足的资源可用于考虑算法、输入数据、数据布局以及微架构的另一GPU操作。

与当前GPU平台相关的另一薄弱环节为现有的GPU平台按照GPU装置如何接收操作的顺序依序执行操作，将此优先化以减少较早请求操作的延迟。此调度方法可增加针对多个应用的GPU操作的平均延迟。举例来说,如果花费大量的时间来完成的GPU操作在花费较少的时间来完成的另一GPU操作到达之前到达GPU装置，那么第二次GPU操作的延迟(或响应时间)变得不必要的过长。

与当前GPU平台相关的又一薄弱环节是当前GPU平台并未针对具有多个路径的工作负荷优化。GPU工作负荷可形成定向非循环图(directed acyclic graph；DAG)，其中每一节点表示操作且从节点A到节点B的定向边缘表示在节点A与节点B之间的输入-输出依赖性；也就是说，节点B必须在节点A之后执行。近年来，具有多径计算图的GPU工作负荷已变得普遍。多径工作负荷可能从由单个用户、由共享GPU平台的多个用户或由具有多个路径的单个GPU应用启动的不同GPU应用出现。多径神经网络为具有多个路径的单个GPU应用的实例。