[发明专利]一种大数据平台

说明书

本申请公开了一种大数据平台，包括：统一鉴权与访问控制模块，用于为各模块提供统一的帐号管理、身份认证以及用户授权服务；数据集成模块，采用Kettle和DataX实现数据集成；统一调度模块，实现各模块之间任务的统一调度；数据治理模块，用于进行主数据管理、元数据管理、数据质量管理以及数据标准管理；数据开发平台模块，用于建设统一访问层、对数据库进行管理、进行脚本在线编写、管理并维护开发所生成的脚本；数据分析模块；数据安全模块；数据服务模块，用于建设统一访问层，提供数据表查看预览、查询语句执行的功能，以及依据表名或查询语句定制REST服务、并进行服务发布；运营监控模块，以及平台门户管理模块。

技术领域

本申请涉及一种大数据平台。

背景技术

大数据平台是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。

随着大数据生态的完善，众多开源组件如雨后春笋般层出不穷。开源组件采用的技术栈不同，在功能上各有侧重，不同组件如同一个个孤岛，缺少协作，给使用者带来极大的不便。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种大数据平台，包括：

统一鉴权与访问控制模块，用于为各模块提供统一的帐号管理、身份认证以及用户授权服务；

数据集成模块，采用Kettle和DataX实现数据集成；

统一调度模块，包括若干个控制节点和若干个工作节点，所述控制节点用于实现任务的调度控制，所述工作节点用于根据所述控制节点下发的指令执行具体任务，并将执行结果反馈给所述控制节点；

数据治理模块，用于进行主数据管理、元数据管理、数据质量管理以及数据标准管理；

数据开发平台模块，用于建设统一访问层、对数据库进行管理、进行脚本在线编写、管理并维护开发所生成的脚本；

数据分析模块，用于从数据源中采集数据，根据所搭建的数据分析模型对采集到的数据进行分析，并通过可视化的方式展现各数据分析模型的分析结果；

数据安全模块，用于对访问大数据平台集群以及其中数据的用户和应用进行限制，记录数据来源、使用情况和销毁情况，对数据进行加密和脱敏，对多租户进行隔离，对数据进行侵权保护，以及容灾管理；

数据服务模块，用于建设统一访问层，提供数据表查看预览、查询语句执行的功能，以及依据表名或查询语句定制REST服务、并进行服务发布；

运营监控模块，用于对系统资源的使用情况和服务/调度任务的运行状态进行监控，并且在出现异常时触发报警；和

平台门户管理模块，用于对平台门户进行管理。

可选地，所述统一鉴权模块以开源软件keycloak作为用户权限的实际载体，通过对原生keycloak管理接口进行代理和聚合来形成API能力集；同时保留对原生API的访问。

可选地，所述的数据集成模块包括：

数据源管理子模块，用于维护多个数据源的连接信息，以及验证所述连接的有效性；

数据预览子模块，用于实现对多种数据源内的表结构的查看，以及TOP-N数据的查看；和

任务管理子模块，用于对数据同步任务、数据清洗任务以及数据转换任务的管理。

可选地，所述数据治理模块包括：