[发明专利]一种基于FPGA的分布式流计算系统加速方法

说明书

本发明涉及一种基于FPGA的分布式流计算系统加速方法，FPGA设备与CPU模块按照协同计算的方式完成流处理作业的运算处理，分布式流计算系统加速方法至少包括如下步骤：按照将所述FPGA设备安装至从节点的方式构建具有主节点的基于FPGA的分布式流计算系统；将流处理作业程序划分为适合所述FPGA设备执行的第一任务和适合所述CPU模块执行的第二任务；在所述流处理作业程序按照配置能够在所述FPGA设备上编译执行的内核程序文件或内核程序文件上传的文件路径的方式提交至所述主节点的情况下，所述主节点按照对所述流处理作业程序进行预处理的方式对资源进行分配和调度。

技术领域

本发明属于分布式流计算领域，尤其涉及一种基于FPGA的分布式流计算系统加速方法。

背景技术

当前，大数据的发展已经呈现白热化状态，数据的爆炸性增长，数据类型的多样化、数据产生速度的不断增长都对数据处理提出了越来越高的要求。实时购物推荐、社交数据实时分析、站点日志处理、智能电网的实时数据处理等很多应用都要求数据处理的实时性，流计算的技术就由此发展而来，成为当前研究的热点。越来越多流式数据计算平台涌现出来，它们依托实时处理相关技术，逐步成为了企业界和研究界重要的在线分析和处理工具。

衡量数据流计算系统最重要的两个性能指标就是延迟和吞吐量，不同的流式处理平台都面临着如何提高这两项指标或者说如何兼顾这两项指标的挑战。现如今摩尔定律已近暮年，“免费的午餐”时代已经快要结束，不得不寻找其他方式来提高计算的速度，采用处理器加速技术为这一挑战带来了新的曙光。

GPU和FPGA是目前两种主流的处理器加速技术，其中FPGA加速部件具有能效比和绝对性能方面的优势。近年来，随着半导体工艺技术的发展，FPGA芯片的容量和运行频率得到了大幅度提高。同时，面向FPGA加速技术的可重构计算研究领域在体系结构和编程技术方面也取得了突破性成果，FPGA加速技术在学术和工业界的推广和应用也呈现出不断加速的趋势。Intel OpenCL SDK for FPGA为FPGA开发提供了一个简明的途径，用户不再需要触碰复杂的硬件细节，只要利用OpenCL框架和一定的C语言知识，便能快速写出加速的应用。与此同时，FPGA加速技术也广泛用于各大数据中心的试验，取得了良好的效果。例如，公开号为CN108776649A的专利文献公开了一种基于CPU+FPGA异构计算系统及其加速方法，采用多个FPGA加速单元协同CPU主控单元完成同一计算任务；CPU主控单元负责逻辑判断、管理控制，对FPGA加速单元进行计算任务分配；FPGA加速单元负责对计算任务进行加速；FPGA加速单元内部划分为静态区域：负责实现PCIe DMA通信、SRIO通信、DDR控制；以及动态可重构区域：执行CPU主控单元下发的kernel函数，对计算任务进行加速。该发明针对不同的任务类型，实现对计算任务的并行加速处理与流水加速处理，能够大幅提升任务处理的吞吐率，缩短任务执行时间，极大提高计算机的计算性能。

因此，利用FPGA来加速流计算系统或者平台是一个值得探索的领域，FPGA优秀的并行性和能耗比结合流计算系统，有望解决系统性能瓶颈，提升系统性能。因此如何将FPGA引入流计算系统并加以利用是当前研究的一个主题，本发明旨在提供一种将FPGA设备应用到例如是Storm的分布式流计算系统中以解决系统瓶颈的加速方法。

发明内容

如本文所用的词语“模块”描述任一种硬件、软件或软硬件组合，其能够执行与“模块”相关联的功能。

针对现有技术之不足，本发明提供一种基于FPGA的分布式流计算系统加速方法，FPGA设备与CPU模块按照协同计算的方式完成流处理作业的运算处理，所述分布式流计算系统加速方法至少包括如下步骤：按照将所述FPGA设备安装至从节点的方式构建具有主节点的基于FPGA的分布式流计算系统；将流处理作业程序划分为适合所述FPGA设备执行的第一任务和适合所述CPU模块执行的第二任务；在所述流处理作业程序按照配置能够在所述FPGA设备上编译执行的内核程序文件或内核程序文件上传的文件路径的方式提交至所述主节点的情况下，所述主节点按照对所述流处理作业程序进行预处理的方式对资源进行分配和调度。