[发明专利]批流一体的数据处理系统及处理方法

权利要求书

1.批流一体的数据处理系统，其特征在于包括：

前端交互子系统，所述前端交互子系统通过前端交互界面与管理员和用户交互，用于支持管理员配置组件模型，所述组件模型用于定义数据读取、数据处理和数据写入的规则，用于支持用户基于组件模型配置任务并提交任务请求；

配置库，所述配置库与所述前端交互模块交互，用于存储组件模型以及配置的任务；

后端服务子系统，所述后端服务子系统与所述前度交互子系统交互，用于基于任务请求执行任务并监视任务运行，生成任务运行新型和异常告警，用于基于前端交互模块的任务查询请求返回任务运行信息以及异常告警，所述后端服务子系统的处理逻辑为：以流处理为处理逻辑、批作为流的一种特例存在，当有批数据流入时，通过时间窗口将批数据转为流数据，实现批流数据的统一。

2.根据权利要求1所述的批流一体的数据处理系统，其特征在于所述前端交互子系统包括：

注册登录模块，所述注册登录模块与前端界面交互，用于通过用户名和密码的方式支持用户和管理员注册登录；

组件配置模块，所述组件配置模块通过前端交互界面与管理员交互，用于支持管理员配置组件模型并对组件模型进行编辑操作，所述编辑操作包括加载、移除和更新操作；

任务配置模块，所述任务配置模块通过前端交互界面与用户交互，用于支持用户根据组件模型创建任务逻辑，并通过拖拽的方式选择组件模型配置任务，所述任务逻辑为：数据源-处理组件和目标库；

任务处理模块，所述任务处理模块与前端交互界面配合，用户通过在前端页面触发请求按钮提交任务请求以及任务查询请求，并通过前端交互界面查看任务运行信息以及异常告警；

接口，所述接口共多个且均为API接口，所述前端交互模块通过接口与配置库和后端服务子系统交互，用于向配置库存储组件模型和任务，用于向后端服务子系统提交任务请求和任务查询请求，并用于从后端服务子系统获取任务运行信息和异常告警。

3.根据权利要求2所述的批流一体的数据处理系统，其特征在于所述前端交互子系统为基于SpringBoot构建的BS框架，集成有jsplumb拖拽组件以实现对组件模型的拖拽，并结合Layui框架实现前端交互界面与用户和管理员的交互。

4.根据权利要求1、2或3所述的批流一体的数据处理系统，其特征在于所述组件模型包括：

数据源组件模型，所述数据源组件模型用于定义数据的读取方式以及源数据库；

处理组件模型，所述处理组件模型用于定义数据处理的逻辑，所述数据处理包括数据筛选、数据清洗和数据转换；

目标库组件模型，所述目标库组件模型用于定义数据的写入方式以及目标数据库。

5.根据权利要求4所述的批流一体的数据处理系统，其特征在于所述数据源组件模型以及目标库组件模型的组件参数包括类型、地址、URL串、用户名和密码；

所述处理组件模型的组件参数包括关联类型、处理方式和处理参数。

6.根据权利要求1、2或3所述的批流一体的数据处理系统，其特征在于所述后端服务模块为批处理引擎，包括：

接口，所述接口共多个并均为API接口，所述后端服务子系统通过所述接口与所述前端交互子系统交互，用于从前端交互子系统获取任务请求和任务查询请求，并用于向前端交互子系统返回任务运行信息和异常告警；

资源调度单元，所述资源调度单元与所述接口交互，用于调度资源以并发执行连续的任务；

任务管理器，所述任务管理器中配置有多个任务槽，每个任务槽中运行有任务流，所述任务流用于执行任务并监视任务，形成任务运行信息以及异常告警；

存储单元，存储单元与所述任务管理器以及接口交互，用于存储任务运行信息以异常告警。