[发明专利]一种大数据处理平台、平台构建方法和存储介质

说明书

本发明公开了一种大数据处理平台、平台构建方法和存储介质。该平台包括：数据采集模块、数据处理模块、数据存储模块和数据输出模块；通过数据采集模块接收外部数据，并通过数据处理模块对外部数据中的元数据信息进行数据处理，得到数据处理结果，以及通过数据处理模块将外部数据中的实际数据存储至数据存储模块；数据输出模块通过统一数据访问接口输出数据处理结果，以对外提供服务。本发明实施例通过以元数据为驱动，将各个模块的功能进行有效串联，形成高效融合的大数据平台，提升了应用构建和运行的效率。

技术领域

本发明实施例涉及大数据技术，尤其涉及一种大数据处理平台、平台构建方法和存储介质。

背景技术

在大数据处理过程中，需要用到多种技术和数据处理方式。对用户来说，要把所需要的大数据技术整合在一个环境里，需要耗费较多的时间和精力。并且，大数据技术更新升级速度快，用户建立的大数据应用经常会因为底层技术的更迭，不断适配和调整，增加维护的复杂度和成本。因此，如何建立一种集基础资源提供、技术工具提供、数据提供等功能于一体的大数据处理平台，是一个亟待解决的问题。

发明内容

有鉴于此，本发明提供一种大数据处理平台、平台构建方法和存储介质，提升了应用构建和运行的效率。

第一方面，本发明实施例提供了一种大数据处理平台，包括：数据采集模块、数据处理模块、数据存储模块和数据输出模块；

通过所述数据采集模块接收外部数据，并通过所述数据处理模块对所述外部数据中的元数据信息进行数据处理，得到数据处理结果，以及通过所述数据处理模块将所述外部数据中的实际数据存储至所述数据存储模块；

所述数据输出模块通过统一数据访问接口输出所述数据处理结果，以对外提供服务。

第二方面，本发明实施例还提供了一种大数据处理平台的构建方法，包括：

根据预先配置的业务需求确定大数据处理平台具备的多个通用能力；

基于预设的统一架构规范和原则，配置每个所述通用能力对应的技术组件；

以元数据信息为驱动，对每个所述技术组件进行串联，构建对应的大数据处理平台。

第三方面，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的大数据处理平台的构建方法。

本发明通过数据采集模块接收到外部数据之后，直接通过数据处理模块对外部数据中的元数据信息进行数据处理，得到数据处理结果，并通过数据输出模块输出数据处理结果，以对外提供服务，实现了以元数据为驱动，将各个模块的功能进行有效串联，形成高效融合的大数据平台，提升了应用构建和运行的效率。

附图说明

图1是现有技术中提供的一种大数据处理功能框架对应的产品架构图；

图2是现有技术中提供的一种建设体系的结构框图；

图3是现有技术中提供的一种技术产品的结构框图；

图4是本发明实施例提供的一种大数据处理平台的结构框图；

图5是本发明实施例提供的一种大数据处理平台中各组件间的关系示意图；

图6是本发明实施例提供的一种大数据处理平台的构建方法的流程图；

图7是本发明实施例提供的一种平台通用能力框架示意图；

图8是本发明实施例提供的另一种大数据处理平台中各组件间的关系示意图；

图9是本发明实施例提供的一种平台能力组合示意图；

图10是本发明实施例提供的一种云化大数据平台的物理部署示意图；