[发明专利]一种大数据处理平台、平台构建方法和存储介质

权利要求书

1.一种大数据处理平台，其特征在于，包括：数据采集模块、数据处理模块、数据存储模块和数据输出模块；

通过所述数据采集模块接收外部数据，并通过所述数据处理模块对所述外部数据中的元数据信息进行数据处理，得到数据处理结果，以及通过所述数据处理模块将所述外部数据中的实际数据存储至所述数据存储模块；

所述数据输出模块通过统一数据访问接口输出所述数据处理结果，以对外提供服务。

2.根据权利要求1所述的大数据平台，其特征在于，所述数据采集模块包括：数据采集组件；所述数据存储模块包括：存储与计算组件；所述数据输出模块包括：分析与可视化组件，以及数据服务总线组件；

所述数据处理模块包括：数据集成组件、智能调度组件、数据管理组件、数据开发组件、和数据服务组件；

通过所述智能调度组件的控制将所述外部数据中的元数据信息登记至所述数据管理组件，以及将所述外部数据中的实际数据写入所述存储与计算组件；

通过所述数据管理组件收集各个组件中的元数据信息，以及对外提供元数据信息；

通过所述数据开发组件进行作业开发，并在作业开发过程中从所述数据管理组件中获取元数据信息，以及将形成的作业代码路径和相关调度配置信息写入所述数据管理组件，形成数据血缘信息；

通过所述数据集成组件提供的数据加工算子，对所述元数据信息进行过滤、变形和整合，并在智能调度组件的控制下得到数据处理结果；由所述数据服务组件通过统一数据访问接口输出所述数据处理结果，以对外提供服务。

3.根据权利要求2所述的大数据平台，其特征在于，所述大数据平台还包括：

通过所述存储与计算组件读取元数据信息，并利用所述存储与计算组件中的存储资源和计算资源对所述外部数据中的实际数据进行计算。

4.根据权利要求2所述的大数据平台，其特征在于，所述分析与可视化组件，用于对所述数据处理结果进行分析挖掘和数据可视化展示；

所述数据服务总线组件，用于对外提供数据访问。

5.根据权利要求4所述的大数据平台，其特征在于，所述分析与可视化组件以及所述数据服务组件用于从所述数据管理组件获取元数据信息。

6.根据权利要求1-5任一所述的大数据平台，其特征在于，所述元数据信息包括下述至少一项：数据结构、数据权限、存储路径、访问方式、运行信息和数据状态。

7.一种大数据处理平台的构建方法，其特征在于，包括：

根据预先配置的业务需求确定大数据处理平台具备的多个通用能力；

基于预设的统一架构规范和原则，配置每个所述通用能力对应的技术组件；

以元数据信息为驱动，对每个所述技术组件进行串联，构建对应的大数据处理平台。

8.根据权利要求7所述的方法，其特征在于，所述预设的统一架构规范和原则包括至少下述一项：云计算、易用性、可靠性和易维护性。

9.根据权利要求7所述的方法，其特征在于，所述通用能力至少包括下述一项：数据采集能力、数据存储能力、数据交换能力、数据计算能力、数据调度能力、数据管理能力、数据集成能力、数据开发能力、数据分析能力、数据可视化能力、数据服务能力；

所述技术组件至少包括下述一项：数据采集组件、数据集成组件、智能调度组件、数据管理组件、存储与计算组件、数据开发组件、分析与可视化组件、数据服务组件和数据服务总线组件。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7-9中任一所述的大数据处理平台的构建方法。