[发明专利]一种基于FPGA的分布式流计算系统加速方法

权利要求书

1.一种基于FPGA的分布式流计算系统加速方法，FPGA设备(401)与CPU模块(3)按照协同计算的方式完成流处理作业的运算处理，其特征在于，所述分布式流计算系统加速方法至少包括如下步骤：

按照将所述FPGA设备(401)安装至从节点(2)的方式构建具有主节点(1)的基于FPGA的分布式流计算系统；

将流处理作业程序划分为适合所述FPGA设备(401)执行的第一任务和适合所述CPU模块(3)执行的第二任务；

在所述流处理作业程序按照配置能够在所述FPGA设备(401)上编译执行的内核程序文件或内核程序文件上传的文件路径的方式提交至所述主节点(1)的情况下，所述主节点(1)按照对所述流处理作业程序进行预处理的方式对资源进行分配和调度；

所述预处理为在拓扑中包含需要第一任务运行的特殊组件并且为所述特殊组件配置所述FPGA设备(401)能够执行的内核函数名称的情况下，基于用户在提交拓扑时的并行度设置和组件类型的选择将拓扑中的每一个组件均实例化为相应数量的第一任务的执行器或第二任务的执行器。

2.根据权利要求1所述的分布式流计算系统加速方法，其特征在于，主节点(1)至少按照如下步骤对资源进行分配和调度：

获取系统集群中待调度的所有流处理作业并对每一流处理作业至少执行添加系统组件、添加数据统计组件并执行标准化处理以完成所述预处理；

获得第一任务的第一总量、第二任务的第二总量以及处于空闲状态的FPGA设备(401)的第三总量；

在所述第三总量小于等于零的情况下，将所有的流处理作业均调度至CPU模块(3)中执行，在所述第三总量大于零且所述第一总量小于所述第三总量的情况下，将所述第一任务调度至FPGA设备(401)中执行，并将所述第二任务调度至CPU模块(3)中执行，或者

在所述第三总量大于零且所述第一总量大于所述第三总量的情况下，基于所述第三总量将所述第一任务划分为第一子任务和第二子任务，其中，第一子任务调度至FPGA设备(401)中执行，所述第二子任务按照转化为所述第二任务的方式传输至所述CPU模块(3)中执行。

3.根据权利要求2所述的分布式流计算系统加速方法，其特征在于，主节点(1)对资源进行分配和调度还包括如下步骤：

在流处理作业程序包含所述第一任务并且内核程序文件或内核程序文件上传的文件路径均提交至所述主节点(1)的情况下，将所述流处理作业程序判定为合法并对其进行调度。

4.根据权利要求3所述的分布式流计算系统加速方法，其特征在于，CPU模块(3)中至少设置有第一作业执行器(6)、第二作业执行器(7)和第三作业执行器(8)，所述FPGA设备(401)和所述CPU模块(3)按照如下步骤对所述流处理作业进行协同计算：

所述第一作业执行器(6)配置为接收上游传输的若干条数据，按照流水线的方式对数据进行逐一处理，并将处理结果通过线程发送至下游的第二作业执行器(7)；

所述第二作业执行器(7)配置为接收第一作业执行器(6)传输的处理结果并将其缓存至其自带的内存中，在缓存的数据量达到设定阈值的情况下，将缓存的所有数据通过接口发送至FPGA设备(401)；

第三作业执行器(8)配置为根据预先设定的数据依赖关系接收第二作业执行器(7)传输过来的处理结果，并对其进行后续的计算处理。

5.根据权利要求4所述的分布式流计算系统加速方法，其特征在于，所述分布式流计算系统加速方法至少包括如下步骤：

主节点(1)在进行流处理作业的调度时，基于集群的运行时环境获取每个从节点(2)对应的空闲资源量信息，将需要调度的任务分配至当前具有最多空闲资源的从节点(2)。