[发明专利]大数据管控平台

说明书

本发明提供一种大数据管控平台，包括：资源管理模块，用于调度和分配集群的内存和计算等资源给上层应用和服务，管理运行在集群节点上的任务的生命周期和资源使用；安全管理模块，用于提供以用户为单位的身份认证和授权，对集群数据资源和服务进行访问控制生成；远程过程调用模块，用于提供可靠高效的进程间远程调用服务；分布式协同服务模块，用于提供分布式系统基本的命名服务、状态同步服务和分布式锁服务；任务调度模块，用于面向海量数据处理和大规模计算类型的复杂应用，提供数据驱动的多级流水线并行计算框架；集群部署与监控模块，用于提供整个云操作系统以及上层应用服务的部署、配置管理以及服务的自检和自举。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据管控平台。

背景技术

过去几年大数据安全和隐私问题是国内外的研究热点，未来大数据的安全 和隐私问题依然将是学术界和企业界研究与探讨的热点。大数据及其相关核心 资源涉及企业商业机密和国家主权，引发了社会各界人士的广泛关注，因此， 如何保护大数据的安全以及用户的隐私成为一个亟待解决的社会热点问题。

发明内容

本发明提供的大数据管控平台，能够为大数据应用提供电子政务大数据服 务平台，有效保护大数据的安全以及用户的隐私。

第一方面，本发明提供一种大数据管控平台，所述大数据管控平台包括资 源管理模块、安全管理模块、远程过程调用模块、分布式协同服务模块、任务 调度模块和集群部署与监控模块，其中，

所述资源管理模块，用于调度和分配集群的内存和计算等资源给上层应用 和服务，管理运行在集群节点上的任务的生命周期和资源使用；

所述安全管理模块，用于提供以用户为单位的身份认证和授权，对集群数 据资源和服务进行访问控制生成；

所述远程过程调用模块，用于提供可靠高效的进程间远程调用服务；

所述分布式协同服务模块，用于提供分布式系统基本的命名服务、状态同 步服务和分布式锁服务；

所述任务调度模块，用于面向海量数据处理和大规模计算类型的复杂应用， 提供数据驱动的多级流水线并行计算框架；

所述集群部署与监控模块，用于提供整个云操作系统以及上层应用服务的 部署、配置管理以及服务的自检和自举。

可选地，在多用户运行环境中，所述资源管理模块支持计算额度和访问控 制，以及作业优先级和资源抢占。

可选地，所述远程过程调用模块支持通讯信道的数据压缩和一致性校验。

可选地，所述分布式协同服务模块基于Paxos协议的多主控节点设计，避 免集群单点失效，自动进行故障监测和数据复制。

可选地，所述任务调度模块在表述能力上兼容MapReduce和Cascading编 程模式。

可选地，所述集群部署与监控模块支持在线集群扩容和应用服务的在线升 级。

可选地，所述集群部署与监控模块，用于监控云操作系统集群和上层应用 服务的运行状况和性能指标，提供丰富的监控图表和集群状况仪表盘。

可选地，所述集群部署与监控模块支持用户定义的自动报警服务，以及在 线性能剖析和故障诊断。