[发明专利]基于可视化的流计算平台、方法、设备和存储介质

权利要求书

1.一种基于可视化的流计算平台，其特征在于，包括：数据开发组件、流计算组件以及智能调度组件；其中，

所述数据开发组件用于通过流计算中的拖拽算子可视化开发对应的流计算应用，并确定所述流计算应用对应的流计算引擎；

所述流计算组件用于解析所述流计算应用中携带的调度参数，并调用所述流计算引擎执行所述流计算应用；

所述智能调度组件用于根据所述调度参数调度所述流计算应用的执行。

2.根据权利要求1所述的流计算平台，其特征在于，所述数据开发组件上包括流式架构模块、流计算开发模块和流式服务模块；其中，

所述流式架构模块用于通过流计算中的拖拽算子将所述流计算应用转换为所述流计算引擎的原生接口所支持的格式；

所述流计算开发模块提供所述流计算应用的作业类型，用于根据所述流式架构模块中的拖拽算子开发不同作业类型下的流计算应用；

所述流式服务模块提供所述流计算应用在执行过程中的作业接口，用于负责所述流计算应用的生命周期管理。

3.根据权利要求2所述的流计算平台，其特征在于，所述流式架构模块包括数据源单元、流处理单元和存储单元；其中，

所述数据源单元用于从至少一个数据源获取所述流计算应用对应的流数据；

所述流处理单元用于根据所述拖拽算子中对应的处理算子对所述流数据进行计算，得到相应的流计算结果；

所述存储单元用于通过至少一个外部存储系统存储所述流计算结果。

4.根据权利要求1所述的流计算平台，其特征在于，所述流计算组件包括流式插件，用于对接所述数据开发组件和所述智能调度组件，在所述智能调度组件根据所述调度参数的调度下，调用所述流计算引擎执行所述流计算应用，并通知所述数据开发组件记录所述流计算应用的作业信息。

5.根据权利要求1所述的流计算平台，其特征在于，所述流计算引擎包括Spark与Flink。

6.根据权利要求1所述的流计算平台，其特征在于，还包括：数据采集组件、数据管理组件和运营组件；其中，

所述数据采集组件用于实时采集所述流计算应用对应的流数据，并发送给所述流计算组件，以使所述流计算组件调用所述流计算引擎处理所述流计算应用对应的流数据；

所述数据管理组件用于管理所述流计算应用对应的元数据和数据权限；

所述运营组件用于维护所述流计算组件的运行情况。

7.一种流数据处理方法，其特征在于，应用于权利要求1-6任一项所述的基于可视化的流计算平台中，包括：

实时获取通过流计算中的拖拽算子可视化开发的流计算应用对应的流数据，并确定对应的流计算引擎；

根据所述流计算应用中携带的调度参数，调用所述流计算引擎按照所述拖拽算子中的处理算子调度处理所述流数据。

8.根据权利要求7所述的方法，其特征在于，所述调用所述流计算引擎按照所述拖拽算子中的处理算子调度处理所述流数据，包括：

根据所述拖拽算子与所述流计算引擎的原生接口之间的转换关系，将所述流数据转换为所述原生接口所支持的格式；

调用所述流计算引擎调度处理转换后的流数据。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求7或8所述的流数据处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7或8所述的流数据处理方法。