[发明专利]批流一体的数据处理系统及处理方法

说明书

本发明公开了批流一体的数据处理系统及处理方法，属于大数据处理分析技术领域，要解决的技术问题为如何提供分布式的批流一体的数据处理方式，提高数据处理计算的实时性和便利性。包括：前端交互子系统，用于支持管理员配置组件模型，组件模型用于定义数据读取、数据处理和数据写入的规则，用于支持用户基于组件模型配置任务并提交任务请求；配置库，用于存储组件模型以及配置的任务；后端服务子系统，用于基于任务请求执行任务并监视任务运行，生成任务运行新型和异常告警，用于返回任务运行信息以及异常告警，后端服务子系统的处理逻辑为：以流处理为处理逻辑、批作为流的一种特例存在，当有批数据流入时，通过时间窗口将批数据转为流数据。

技术领域

本发明涉及大数据处理分析技术领域，具体地说是批流一体的数据处理系统及处理方法。

背景技术

随着计算机技术的不断发展和信息化程度的不断提高，如此增长迅速、庞大繁杂的数据资源，给传统的数据分析、处理技术带来了巨大的挑战。传统的数据处理软件均存在一些缺陷，主要包括：采用的是伪分布式架构，批量数据和流数据需要单独处理，并且处理效率慢，已无法满足对复杂、关系型、非关系型的数据进行分布式采集、计算、过滤和分析。因此分布式数据处理系统越来越受到人们的关注，而大数据计算相关的技术中，分布式数据批流一体计算引擎就是其中的一种。

如何提供分布式的批流一体的数据处理方式，提高数据处理计算的实时性和便利性，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供批流一体的数据处理系统及处理方法，来解决如何提供分布式的批流一体的数据处理方式，提高数据处理计算的实时性和便利性的技术问题。

第一方面，本发明的批流一体的数据处理系统，包括：

前端交互子系统，所述前端交互子系统通过前端交互界面与管理员和用户交互，用于支持管理员配置组件模型，所述组件模型用于定义数据读取、数据处理和数据写入的规则，用于支持用户基于组件模型配置任务并提交任务请求；

配置库，所述配置库与所述前端交互模块交互，用于存储组件模型以及配置的任务；

后端服务子系统，所述后端服务子系统与所述前度交互子系统交互，用于基于任务请求执行任务并监视任务运行，生成任务运行新型和异常告警，用于基于前端交互模块的任务查询请求返回任务运行信息以及异常告警，所述后端服务子系统的处理逻辑为：以流处理为处理逻辑、批作为流的一种特例存在，当有批数据流入时，通过时间窗口将批数据转为流数据，实现批流数据的统一。

作为优选，所述前端交互子系统包括：

注册登录模块，所述注册登录模块与前端界面交互，用于通过用户名和密码的方式支持用户和管理员注册登录；

组件配置模块，所述组件配置模块通过前端交互界面与管理员交互，用于支持管理员配置组件模型并对组件模型进行编辑操作，所述编辑操作包括加载、移除和更新操作；

任务配置模块，所述任务配置模块通过前端交互界面与用户交互，用于支持用户根据组件模型创建任务逻辑，并通过拖拽的方式选择组件模型配置任务，所述任务逻辑为：数据源-处理组件和目标库；

任务处理模块，所述任务处理模块与前端交互界面配合，用户通过在前端页面触发请求按钮提交任务请求以及任务查询请求，并通过前端交互界面查看任务运行信息以及异常告警；

接口，所述接口共多个且均为API接口，所述前端交互模块通过接口与配置库和后端服务子系统交互，用于向配置库存储组件模型和任务，用于向后端服务子系统提交任务请求和任务查询请求，并用于从后端服务子系统获取任务运行信息和异常告警。

作为优选，所述前端交互子系统为基于SpringBoot构建的BS框架，集成有jsplumb拖拽组件以实现对组件模型的拖拽，并结合Layui框架实现前端交互界面与用户和管理员的交互。