[发明专利]一种支持多引擎的实时数据处理系统及方法

说明书

本发明公开一种支持多引擎的实时数据处理系统及方法，对业务处理进行拆解，根据需要生成实现业务某特定功能的插件，插件与引擎无直接关系；分析业务需求进行处理流程编排，拖拽对应插件确认数据处理方法及数据流向，获取流程编排信息构建数据执行链路图；根据流程编排中生成的数据执行链路图，获取执行引擎信息，通过执行桥接器取到实际处理逻辑，调用执行。本发明基于多引擎支持插件式流程编排，允许定义每个处理环节，灵活度高，使用便捷。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种支持多引擎的实时数据处理系统及方法。

背景技术

随着科技发展，在日常生活和经济建设中产生了海量数据，企业对数据时效性要求越来越高，第一时间利用好这些数据能更有效提高企业竞争力。目前实时数据处理技术也日益成熟，主流处理引擎包含Flink,Spark Stream,Storm等。通常实时处理模块逻辑代码与处理引擎融为一体，细小的调整对引擎或业务逻辑的变更影响面广。随着业务发展、新技术不断完善，在企业系统平台中使用新引擎成为可能，但因架构的限制，通常无法基于系统的现状快速切入与原有模块融合，而需要花费大量人力进行代码重构。从单体应用来看，在数据实时处理中，一般存在数据多样、业务场景复杂等情况，通常需要根据当前数据的特性及业务需求针对性处理，定制性高；并且实时应用通常由对应人员各自进行任务启停等处理，存在运维分散、多节点管理等问题。

现有技术存在如下问题：(1)处理引擎选择单一，对某实时数据处理业务仅支持一种处理引擎，无法自由选择，灵活性低。(2)多引擎使用受限，某类引擎仅限某专项处理类别或特定领域的使用，使用范围窄，不方便更新迭代。(3)新增引擎困难，在需要引入新引擎情况下，对现有架构改造较大，旧流程适应新引擎处理困难。(4)实时处理流程定制化高，代码复用性低、维护量大，通用性差。(5)实时任务管理缺少对多引擎的支持，任务处理分散，无统一任务管理模块。

发明内容

本发明的目的在于提供一种支持多引擎的实时数据处理系统及方法，对实时数据处理提供多引擎的支持，提供基于多引擎的流程编排，提供统一的实时任务管理，简化实时数据处理开发和运维过程，使实时应用有更高的通用性和使用价值。

本发明采用的技术方案是：

一种支持多引擎的实时数据处理方法，包括如下步骤：

步骤1、实时引擎及插件抽象构建:对业务处理进行拆解，分析业务需求生成实现业务的特定功能的插件，且插件与引擎无直接关系；

步骤2、分析业务需求进行处理流程编排:拖拽对应插件确认数据处理方法及数据流向，获取流程编排信息构建数据执行链路图；

步骤3、任务触发执行：根据流程编排中生成的数据执行链路图，获取执行引擎信息，通过执行桥接器取到实际处理逻辑并调用执行。

进一步地，步骤1中分析业务需求根据同质化的逻辑功能，构建处理某专项功能的通用插件，其他独特逻辑构建成专题插件。

进一步地，步骤1的具体步骤如下：

步骤1-1，在插件设计阶段确定插件的基本数据，保存后生成插件的唯一标识；基本数据包括插件的分类、名称信息、图标信息、页面参数信息、页面控件信息、上级必选插件、上级互斥插件；

步骤1-2，基于插件的分类信息确定插件处理逻辑的抽象类及抽象方法、数据接口；

步骤1-3，提供配置模板指导引擎定义，引擎为实时处理中最终调用的处理框架；

步骤1-4，提供执行桥接器设计，调用引擎API，实现插件的最终处理逻辑，建立插件与引擎之间关系，使插件定义的处理逻辑能被真正调用处理。

具体地，插件定义的处理逻辑根据需要同时关联调用多个引擎，多个引擎协调处理实现对应的插件功能。同一引擎可被多个插件关联调用，为多个插件提供对应的处理。