[发明专利]基于CPU和FPGA协同计算的云端深度神经网络优化方法

说明书

本发明属于计算机体系结构设计技术领域，具体为一种基于CPU和FPGA协同计算的云端深度神经网络优化方法。该方法实现分为前端和后端两部分；前端是CPU为核心的服务器端，负责流程控制、数据接收和部分处理；后端是以FPGA为核心的加速部件，包括大规模并行处理器阵列、图形处理单元、专用集成电路以及PCI‑E接口，负责深度神经网络关键层的并行加速处理等。先将深度神经网络按不同层次划分为分别适合前端和后端处理的两个部分。前端将接收到的数据以数据流的形式，由DDR穿梭于前后端之间处理各个层或组合层。前端灵活的流程控制配合后端高效的并行结构，可大幅提高神经网络计算的能效比。

技术领域

本发明属于计算机体系结构设计技术领域，具体涉及一种基于CPU和FPGA协同计算的云端深度神经网络优化方法。

背景技术

在多种交互方式并存的人机交互过程中，会产生不同特点的交互模态数据和所对应不同深度学习模型，如卷积神经网络（Convolutional neural networks，简称CNNs）模型等，而构建深度学习算法需要长时间和大量计算资源。目前主流的计算架构包括以下三种：GPU、FPGA和专用定制芯片（ASIC）。

GPU 最早是为生成基于多边形网络的计算机图形而设计的，实际上这些处理器也非常适用于运行神经网络和矩阵乘法方面的计算。但是每张GPU也会消耗大约 250 瓦的功率并且需要一个完整的计算机来支持运行。FPGA即现场可编程门阵列，是一种半定制电路，可以针对深度神经网络模型构建出定制处理器，但其基本单元的资源有限，无法完整处理大规模深度神经网络模型。ASIC具有速度快能耗低的优点，但其一旦定型就无法更改，不够灵活。

本发明基于CPU和FPGA协同计算架构，通过软硬件优化方法来解决目前大规模服务器集群在处理深度学习算法时存在着耗能高、性价比低、灵活性差、数据通信开销大等问题。

发明内容

本发明的目的在于提供一种基于CPU和FPGA协同计算的云端深度神经网络优化方法，用以解决目前大规模服务器集群在处理深度学习算法时存在着耗能高、性价比低、灵活性差、数据通信开销大等问题。

本发明提供的基于CPU和FPGA协同计算的云端深度神经网络优化方法，利用软硬件全可编程技术，将时序大数据、大规模场景深度信息、海量个体生理信息等数据通过外部存储接口实时调入与云服务器共享的板上内存池中，使CPU与FPGA实现协同异构模式计算。在协同计算过程中，主机中的CPU负责FPGA不擅长的复杂逻辑和事务处理等串行计算；FPGA通过共享内存池高速读取内存数据，充分调动内部的真值表、触发器以及其他硬件资源，动态实现多层次的深度学习模型的关键层（如卷积层和非线性层等），达到在硬件层次中加快模型响应速度的目的。二者各尽所能，充分发挥异构计算系统的处理能力。

本发明提供的优化方法，把深度神经网络按不同层次划分为分别适合前端和后端处理的两个部分；其中：

所述前端，是以CPU为核心的服务器端，包括CPU和PCI-E总线接口的主机、控制划分深度神经网络的程序和加速部件驱动，负责数据接收、流程控制和部分处理；

所述后端，是以FPGA为核心的加速部件，包括现场可编程门阵列（FPGA）、大规模并行处理器阵列、图形处理单元、专用集成电路以及PCI-E接口，负责深度神经网络关键层的并行加速处理。

前端中，数据接收具体可实现为RESTful架构风格的服务端，通过网络接收从外部客户端发来的多模态数据请求。前端根据请求的模态类型和任务要求，选择合适的深度处理模型。再根据数据规模权衡传输开销和加速效果，确定整体控制流程。

通常线性层的传输开销大于加速效果，将由前端完成处理；卷积层、非线性函数、池化层等加速效果显著的划分给后端处理，并参考后端预定义的网络类型，自动将原始处理层优化组合，对应到后端 FPGA的一个独立IP核，以减少数据传输损耗，提高性能。