[发明专利]一种大数据平台

权利要求书

1.一种大数据平台，包括：

统一鉴权与访问控制模块，用于为各模块提供统一的帐号管理、身份认证以及用户授权服务；

数据集成模块，采用Kettle和DataX实现数据集成；

统一调度模块，包括若干个控制节点和若干个工作节点，所述控制节点用于实现任务的调度控制，所述工作节点用于根据所述控制节点下发的指令执行具体任务，并将执行结果反馈给所述控制节点；

数据治理模块，用于进行主数据管理、元数据管理、数据质量管理以及数据标准管理；

数据开发平台模块，用于建设统一访问层、对数据库进行管理、进行脚本在线编写、管理并维护开发所生成的脚本；

数据分析模块，用于从数据源中采集数据，根据所搭建的数据分析模型对采集到的数据进行分析，并通过可视化的方式展现各数据分析模型的分析结果；

数据安全模块，用于对访问大数据平台集群以及其中数据的用户和应用进行限制，记录数据来源、使用情况和销毁情况，对数据进行加密和脱敏，对多租户进行隔离，对数据进行侵权保护，以及容灾管理；

数据服务模块，用于建设统一访问层，提供数据表查看预览、查询语句执行的功能，以及依据表名或查询语句定制REST服务、并进行服务发布；

运营监控模块，用于对系统资源的使用情况和服务/调度任务的运行状态进行监控，并且在出现异常时触发报警；和

平台门户管理模块，用于对平台门户进行管理。

2.根据权利要求1所述的大数据平台，其特征在于，所述统一鉴权模块以开源软件keycloak作为用户权限的实际载体，通过对原生keycloak管理接口进行代理和聚合来形成API能力集；同时保留对原生API的访问。

3.根据权利要求1或2所述的大数据平台，其特征在于，所述的数据集成模块包括：

数据源管理子模块，用于维护多个数据源的连接信息，以及验证所述连接的有效性；

数据预览子模块，用于实现对多种数据源内的表结构的查看，以及TOP-N数据的查看；和

任务管理子模块，用于对数据同步任务、数据清洗任务以及数据转换任务的管理。

4.根据权利要求1-3中任一项所述的大数据平台，其特征在于，所述数据治理模块包括：

主数据管理子模块，用于创建并维护核心数据的完整性、一致性、正确性，并以服务的方式把统一的、标准的主数据提供给其他系统和模块使用；

元数据管理子模块，用于对元数据进行集中管理；

数据质量管理子模块，用于依据质量检查规则对数据进行质量检核，并出具数据质量报告，同时对外提供质量检查服务；和

数据标准管理，用于针对企业数据制定标准，并采用制定的标准对数据进行规范。

5.根据权利要求1-4中任一项所述的大数据平台，其特征在于，所述数据安全模块包括：

数据管理子模块，用于对数据的安全等级进行限定；

数据保护子模块，用于对数据进行加密和脱敏，对HDFS文件进行加密，以及防止数据丢失；

统一鉴权与访问控制子模块，用于实现服务加密SSL、集群节点加密和安全域；和

基础安全子模块。

6.根据权利要求1-5中任一项所述的大数据平台，其特征在于，所述运营监控模块包括：

基础监控数据采集子模块；

数据接收/拉取子模块；

调度任务监控采集子模块；

数据存储子模块；

告警处理、告警发送子模块；和

监控Web以及对外服务子模块。

7.根据权利要求1-6中任一项所述的大数据平台，其特征在于，所述平台门户管理模块包括：

单点登录子模块；

统一信息展示子模块；

子系统管理子模块；和

菜单管理子模块。

8.根据权利要求7所述的大数据平台，其特征在于，所述统一信息展示子模块采用single-spa技术，对不同模块的前端页面进行集成。