[发明专利]神经网络处理组件及多神经网络处理方法

说明书

本公开涉及一种神经网络处理组件及多神经网络处理方法，所述组件包括多个执行单元，所述执行单元包括：控制器、多个处理器、内存和路由器，内存用于存储任务数据和/或处理结果；控制器用于调用处理器读取任务数据，以执行所述任务；处理器用于根据任务数据执行任务，获得处理结果；路由器用于接收任务数据和/或发送处理结果。根据本公开的实施例的神经网络处理组件，每个执行单元均具有各自的控制器和内存，能够通过内存来存储各自的任务数据，并通过各自的控制器调用自身的处理器进行运算，以提升数据调用和数据运算的灵活性，为多神经网络的并行处理以及神经网络之间的交互提供了硬件基础。

技术领域

本公开涉及计算机技术领域，尤其涉及一种神经网络处理组件及多神经网络处理方法。

背景技术

随着深度学习技术的不断发展，人工神经网络模型出现在越来越多的场景中，且重要性越来越高。智能场景的不断复杂化也使得多网络协同解决方案成为发展趋势之一。在这些场景中，往往需要多个神经网络模型并行执行，且执行过程中存在多样的神经之间的交互。在相关技术中，神经网络加速芯片主要针对单神经网络的运行进行加速。加速多神经网络高速并行执行且支持神经网络之间灵活交互的架构仍有巨大的探索空间。

人工神经网络包含大量的矩阵或向量运算，这些运算需要耗费大量的算力，但计算的规整性和高度可并行性也使得专门为其设计高效的加速芯片成为可能，这样的加速芯片即为神经网络加速器。一个标准的神经网络加速器的架构通常为：输入缓存与权重缓存将神经网络的输入和权重送到处理单元(PE)阵列中，PE阵列中含有大量可以进行乘法和累加计算的并行处理单元，可高效完成神经网络中占主要比例的线性计算。PE阵列的处理结果将放入输出缓存中，并经过向量处理单元完成非线性计算，如池化、激活函数等。如此，神经网络加速器便完成了神经网络一层的全部或部分计算，不断重复这个过程，完成神经网络整体的计算。在系统层面上，神经网络加速器会接受中央处理器(CPU)的调度与控制，以及与内存进行大量的数据交互。

现有加速器模型在执行多神经网络交互的时候主要有以下问题。首先，无法真正实现灵活的多网络并行执行。加速的PE阵列往往采用单指令多数据(SIMD)的方式控制，即所有计算单元执行同样的计算并且同种数据保持一致的数据传递方向。这使得一个神经网络加速器在一个时刻只能计算一层网络。目前也有一些技术将多个网络中多个相同的算子融合或压缩成一个算子交给PE阵列计算，但这种技术并不灵活。其次，目前的加速器架构本质上还是一种中心化的计算架构。该架构包含三个中心，加速器代表的并行计算中心、CPU代表的控制中心、内存代表的存储中心。这三个中心之间的数据与控制信息交换往往成为整个系统的瓶颈，尤其是当计算环境需要在不同任务之间进行频繁切换时。

发明内容

本公开提出了一种神经网络处理组件、方法、装置、电子设备和存储介质。

根据本公开的一方面，提供了一种神经网络处理组件，所述组件包括多个执行单元，所述执行单元包括：控制器、多个处理器、内存和路由器，所述内存用于存储处理任务所需的任务数据和/或所述处理器获得的所述任务的处理结果；所述控制器为所述执行单元的独立控制器，用于根据所述任务，调用所述处理器读取所述任务数据，以执行所述任务，其中，所述神经网络处理组件通过所述控制器控制多个执行单元在相同时刻执行相同或不同任务，或者控制一个执行单元在相同或不同时刻执行不同任务，所述控制器用于按照任务队列，调用所述处理器执行所述任务队列中的任务；所述处理器用于根据所述任务数据，执行所述任务，获得所述处理结果；所述路由器用于接收所述任务数据和/或发送所述处理结果。

在一种可能的实现方式中，所述执行单元还包括：数据整理器，用于对所述处理器读取的所述任务数据进行整理，获得整理后的任务数据，所述整理后的任务数据符合所述处理器的处理规则；和/或对所述处理结果进行整理，获得整理后的处理结果，所述整理后的处理结果符合所述内存的存储规则。