[发明专利]一种多源异构数据处理系统

说明书

本发明公开了一种多源异构数据处理系统，包括数据接口模块、数据管道模块、大数据分析平台、数据处理模块及编译模块，所述数据接口模块由多种数据源或数据仓库的I/O接口组成，所述数据管道模块用于构建将数据从数据源或数据仓库传输到大数据分析平台的管道，所述大数据分析平台包括Direct Pipeline、Apache Spark、Apache Flink和Google Cloud Dataflow，所述数据处理模块用于生成数据加工处理程序，所述编译模块集成于大数据分析平台，用于对数据加工处理程序进行编译，转换为大数据分析平台可执行的程序代码。

技术领域

本发明涉及数据处理技术领域，特别涉及一种多源异构数据处理系统。

背景技术

对于用户来讲，数据库中已经存储了大量的数据，包括结构化的和非结构化的，但是分布在不同的系统，各个业务系统从这些数据库中取数据的需求和情况越来越多，已经形成了难以维护管理的“蜘蛛网”，需要建立统一的数据管理和访问平台，便于统一维护和管理，提供一站式的数据访问服务。

发明内容

为解决上述问题，本发明提供了一种多源异构数据处理系统。

本发明采用以下技术方案：

一种多源异构数据处理系统，包括数据接口模块、数据管道模块、大数据分析平台、数据处理模块及编译模块，所述数据接口模块由多种数据源或数据仓库的I/O接口组成，所述数据管道模块用于构建将数据从数据源或数据仓库传输到大数据分析平台的管道，所述大数据分析平台包括Direct Pipeline、Apache Spark、Apache Flink和GoogleCloud Dataflow，所述数据处理模块用于生成数据加工处理程序，所述编译模块集成于大数据分析平台，用于对数据加工处理程序进行编译，转换为大数据分析平台可执行的程序代码。

优选地，所述数据源或数据仓库支持批处理和流处理。

优选地，所述数据管道模块分别连接数据源或数据仓库的I/O接口以及大数据分析平台。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明通过构建数据处理管道和数据处理业务逻辑，将数据流的传递和处理进行分离，便于实现统一的维护和管理。通过数据处理模块及编译模块进行数据处理业务逻辑的实现，能够提高整体效率，降低人力和时间成本。

附图说明

图1为本发明的系统框架示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

本发明公开了一种多源异构数据处理系统，包括数据接口模块、数据管道模块、大数据分析平台、数据处理模块及编译模块，其中：

数据接口模块由多种数据源或数据仓库的I/O接口组成，数据源或数据仓库支持批处理和流处理。

数据管道模块用于构建将数据从数据源或数据仓库传输到大数据分析平台的管道。数据管道模块分别连接数据源或数据仓库的I/O接口以及大数据分析平台。

大数据分析平台包括Direct Pipeline、Apache Spark、Apache Flink和GoogleCloud Dataflow。