[发明专利]分布式流计算的可视化流程处理引擎及其使用方法

权利要求书

1.一种分布式流计算的可视化流程处理引擎，其特征在于，包括：

流处理可视化编排引擎、流处理过程定义文件生成引擎和流处理发布引擎；

所述可视化编排引擎包括相耦合的前台可视化界面和后台程序代码；所述前台可视化界面包括桌面和多个标签，位于桌面上的标签之间可以建立连接；每一所述标签与后台程序代码中的同名流式分析框架算子构成一一对应的映射关系；

所述流处理过程定义文件生成引擎用于将桌面上建立连接的标签所定义的流程转换为流处理过程定义文件；

所述流处理发布引擎包括针对流式分析平台的多种处理单元算子适配器，用于将流处理过程定义文件通过流程解析、执行平台判断、单元处理器适配、应用编译、应用打包、应用发布的步骤将流程发布至一个或多个流式处理平台；

所述流式分析平台和所述流式处理平台包括STORM和/或SPARK和/或FLINK；所述流式分析框架算子为STORM和/或SPARK和/或FLINK流式分析框架算子；

所述标签至少包括：数据接入source、转换transition、连接join、脱敏masking、编码decode、投射projection、分拆split、分组group by、计数count、过滤filter、编/解码encode/decode、输出sink。

2.根据权利要求1所述的分布式流计算的可视化流程处理引擎，其特征在于：所述标签还可与同名自定义算子的封装构成一一对应的映射关系。

3.根据权利要求1所述的分布式流计算的可视化流程处理引擎的使用方法，其特征在于，包括以下步骤：

步骤S1：将具体的业务需求分解为多个业务处理过程，并以流式分析框架已定义的算子为最小单位进行业务处理过程的表达；

步骤S2：筛选出所述可视化编排引擎中与流式分析框架算子同名的标签，将这些标签置于桌面上，并根据业务处理过程之间的关系连接桌面上的标签；

步骤S3：通过所述流处理过程定义文件生成引擎将步骤S2定义的流程，根据标签与同名流式分析框架算子的封装的一一对应的映射关系，转换为流处理过程定义文件；

步骤S4：所述流处理发布引擎将流处理过程定义文件通过流程解析、执行平台判断、单元处理器适配、应用编译、应用打包、应用发布的步骤将流程发布至一个或多个流式处理平台，执行运行作业。

4.根据权利要求3所述的分布式流计算的可视化流程处理引擎的使用方法，其特征在于：在步骤S4的执行平台判断和单元处理器适配的步骤中，首先通过解析出的流式分析框架算子的类型，判断可以处理该流式分析框架算子的流式处理平台；并根据判断结果进行单元处理器适配。