[发明专利]用于神经网络和逻辑推理的可扩展及实时可重构硬件

说明书

本发明提出一种可缩放现场可重构学习网络以及被重构以匹配所选择的深层学习神经网络的架构或处理流程并且非常适于组合神经网络学习和逻辑推理的机器智能系统。其将所选择的学习网络的N个层、簇或阶段划分为具有与多个现场可重构处理模块的部分间连接的多个部分。该部分间连接被配置到现场可重构处理以及互联模块中。多个现场可重构学习网络可以被互联以产生更大规模现场可重构学习网络，并且能够被连接到因特网以提供现场可重构学习网络云服务。

技术领域

本发明涉及现场可重构神经网络(field-reconfigurable neural network)以及机器智能系统，尤其涉及可扩展及现场可重构的用于神经网络的硬件系统，以与神经网络和逻辑推理的结构和处理流程匹配。

背景技术

将神经网络用于机器学习、训练以及推理有两个阶段。在训练阶段，计算引擎需要能够快速处理大量训练例子，因此既需要快速处理也需要快速I/O。在推理阶段，计算引擎需要在多个应用中实时地接收输入数据并处理推理结果。在两个阶段，计算引擎需要被配置以执行与学习任务最合适的不同的神经网络架构，例如，用于人脸识别、语音识别、手写识别、玩游戏或控制无人机等，每个都可能需要不同的神经网络架构，或结构和处理流程，例如，玩家数目、在每个玩家的节点数目、玩家之间的互联、在每个玩家执行的处理的类型等。使用GPU、FPGA或ASIC的用于神经网络的现有技术计算引擎缺乏本发明所提供的子引擎互联的高处理功率、扩展性、灵活性，以及实时配置性。

在2016年关于微架构的IEEE/ACM国际学会第49界年会上由微软公司的发表的“ACloud-Scale Acceleration Architecture(云规模加速架构)描述了一种架构，其在服务器的网络接口卡(NIC)和以太网开关之间设置了FPGA的层。其将单个FPGA与服务器CPU连接，并且通过多大三层的以太开关将很多FPGA连接。其主要优势在于提供通用目的云计算服务，允许FPGA以线路速率来转换网络流，并且对每个服务器上运行的本地应用进行加速。其允许大量FPGA进行通信，然而，FPGA之间的连接需要经过一个或多个级别的以太开关，并且需要网络操作系统协调连接到每个FPGA的CPU。对于单一CPU，联合处理功率受限于CPU上安装的单个FPGA的尺寸和处理速度。由于数据中心中的以太开关网络上的其他数据通信的竞争，整体性能以及FPGA与FPGA通信延迟将严重依赖于该多层以太开关的效率和不确定性，并且，依赖于网络操作系统管理、请求、释放以及获取在大量其他CPU或服务器的FPGA资源时的效率。也有这样的现有技术，其将多个FPGA或GPU通过CPU或外围总线连接到服务器，例如，PCIe总线。一个服务器的FPGA或GPU与另一服务器的FPGA或GPU之间没有直接连接。需要大量FPGA的大型神经网络需要包括多个服务器以及他们的上层软件开销和延迟。

发明内容

本发明在重构和映射可配置硬件上提供显著的优势，以适宜地匹配宽范围的神经网络的结构和处理流程，此外，克服上述现有技术中的缺点。

附图说明

图1表示现场可重构学习网络的架构。

图2表示被重构以实施多层深度学习神经网络的现场可重构学习网络。

图3表示被重构以同时实施两个多层神经网络的现场可重构学习网络。

图4表示被重构以同时实施两个合作多层神经网络以及高层学习网络的现场可重构学习网络。

图5表示被互联以形成更大现场可重构学习网络的四个现场可重构学习网络。

具体实施方式