[发明专利]基于CPU和FPGA协同计算的云端深度神经网络优化方法

权利要求书

1.一种基于CPU和FPGA协同计算的云端深度神经网络优化方法，其特征在于，利用软硬件全可编程技术，将时序大数据、大规模场景深度信息、海量个体生理信息等数据通过外部存储接口实时调入与云服务器共享的板上内存池中，使CPU与FPGA实现协同异构模式计算；在协同计算过程中，主机中的CPU负责FPGA不擅长的复杂逻辑和事务处理串行计算；FPGA通过共享内存池高速读取内存数据，充分调动内部的真值表、触发器以及其他硬件资源，动态实现多层次的深度学习模型的关键层，从而在硬件层次中加快模型响应速度。

2.根据权利要求1所述的基于CPU和FPGA协同计算的云端深度神经网络优化方法，其特征在于，把深度神经网络按不同层次划分为分别适合前端和后端处理的两个部分，其中：

所述前端，是以CPU为核心的服务器端，包括CPU和PCI-E总线接口的主机、控制划分深度神经网络的程序和加速驱动部件，负责数据接收、流程控制和部分处理；

所述后端，是以FPGA为核心的加速部件，包括现场可编程门阵列、大规模并行处理器阵列、图形处理单元、专用集成电路以及PCI-E接口，负责实现深度神经网络关键层的并行加速；

前端中，数据接收采用RESTful架构的服务端，通过网络接收从外部客户端发来的多模态数据请求；根据请求的模态类型和任务要求，选择合适的深度处理模型；再根据数据规模权衡传输开销和加速效果，确定整体控制流程；

线性层的传输开销大于加速效果，划分给前端处理；卷积层、非线性函数、池化层等加速效果显著的划分给后端处理，并参考后端预定义的网络类型，自动将原始处理层优化组合，对应到后端 FPGA的一个独立IP核，以减少数据传输损耗，提高性能；

后端中，加速实现以前端确定的组合层为主；先将权衡加速开销之后可能用于后端加速的层全部筛选出来，再根据层的类型分类组合实现IP核；

前端将接收到的数据以数据流的形式，由DDR穿梭于前端和后端之间处理各个层或组合层；前端灵活的流程控制配合后端高效的并行结构，大幅提高神经网络计算的能效比。