[发明专利]一种新型流式大数据平台硬件架构及其实现方法

说明书

本公开涉及一种新型流式大数据平台硬件架构及其实现方法，所述架构包括：在每台服务器上安装一块FPGA，每块FPGA之间通过高速网络连接，所述FPGA用于实现控制指令传输、提供计算任务的分流控制，该架构采用实时计算框架，通过系统内存进行计算、索引、优化命令执行，其中，所述框架针对不同数量级的数据采取不同的数据计算方法。

技术领域

本公开实施例涉及大数据处理技术领域，更具体地，涉及一种新型流式大数据平台硬件架构及其实现方法。

背景技术

面向工业物联网的流式大数据平台对信息处理速度要求非常高，传统的方法是利用通用CPU处理器，通过软件实现信息的处理。例如物联网与大数据平台，由于物联网终端感知的信息量大，并且采用可靠性传输策略，这些数据包需要进一步处理后才能进行应用分析，因此采用传统方法存在运行速率不足问题，又由于传统方法无法保证线速处理能力，从而造成网络时延较大或信息处理不充分问题。

目前主流大数据硬件架构在信息处理技术上有多核、GPU、FPGA+CPU，FPGA的能效虽然比冯诺依曼结构的CPU和GPU都要高，但是在计算机密集型和通信密集型的任务上，仍不能满足实时物联网流式大数据平台需求。

发明内容

本公开实施例的一个目的是提供一种新型流式大数据平台硬件架构及其实现方法，以满足实时物联网流式大数据平台需求。

根据本公开的第一方面，提供了一种新型流式大数据平台硬件架构，所述架构包括：在每台服务器上安装一块FPGA，每块FPGA之间通过高速网络连接，所述FPGA用于实现控制指令传输、提供计算任务的分流控制。

优选地，所述架构采用实时计算框架，通过系统内存进行计算、索引、优化命令执行，其中，所述框架针对不同数量级的数据采取不同的数据计算方法。

根据本公开的第一方面，提供了一种新型流式大数据平台硬件架构的实现方法，所述方法包括：将FPGA系统设置在网络的数据链路层，利用千兆以太网口收发以太网帧；其中，所述以太网帧中封装了数据包，数据包的净荷里存放着接下来所做的字符串匹配所需要的模式字符串和文本字符串；FPGA系统在接收到一个数据帧后，会传给FPGA芯片，通过FPGA芯片对帧内所有数据进行操作处理；FPGA在接收了这样一个数据帧后，首先是存到RAM里，再进一步对数据进行处理，通过以太网帧的固定结构准确找到在FPGA中的RAM里存下来的数据帧内部的数据。

优选地，所述方法还包括：物联网终端把感知的数据分别封装在不同的数据包中，通过以太网帧的形式传入FPGA流处理系统，系统利用端口号来对其进行区分，并进行处理，以完成不同终端的处理。

优选地，所述方法还包括：以SDTP接口的形式实时的接受XDR数；采用卡夫卡工具实现数据输入到流处理队列的转换过程；利用火花流框架或风暴框架进行信息粗粒度的数据处理分析得到粗粒度摘要数据；将所述粗粒度摘要数据计算结果传输到kafka实时处理队列中。

优选地，所述方法支持hbase柱状存储数据库，以快速有效地查询并分析和生成数据，在存储的大数据达到一定规模后，使用hbase数据库。

优选地，所述方法还包括对信息传输安全性进行保障，所述方法包括：采用TCP作为数据传输协议；高速探头实时检测每个用户的每一个数据包；源数据包与各自相关的确认和重传信息；当数据包在传输过程中丢失时，高速探头计算每个用户的TCP数据流的丢失率；通过网络的特定路由实现探针对数据流中的每个分组，将每个用户的个别TCP会话损失率映射到用户的传输路径。

根据本公开的第三方面，还提供了一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现一种新型流式大数据平台硬件架构的实现方法。

根据本公开的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现一种新型流式大数据平台硬件架构的实现方法。