[发明专利]一种交互式统一大数据编程计算平台

说明书

本发明公开了一种交互式统一大数据编程计算平台，包括：用户登录管理模块，所述用户登录管理模块内包括统一目录服务模块。所述统一目录服务模块内包括身份管理模块、认证管理模块、访问控制模块和审计管理模块，所述身份管理模块和认证管理模块用于用户的身份信息录入与登录认证管理。本发明大数据存储计算集群内设置大数据计算引擎、分布式数据库和分布式文件系统，分布式数据库的内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，其数据源更加充足，分布式数据库内包括数据采集模块和数据分类模块，分类后的数据通过数据计算控制模块机箱内数据筛选、数据比对过滤和数据计算，从而得出结算结果。

技术领域

本发明涉及编程计算平台技术领域，更具体为一种交互式统一大数据编程计算平台。

背景技术

随着大数据时代的到来，传统的数据处理方法已经不能满足日益增长的数据量了，现在的数据量每天能达到TB甚至PB级，在数据存储上就不同以往，必须采用分布式的存储，以采用保证数据的安全性和可用性，如果涉及到计算层，更是需要大量的计算资源。因此，在这个时代的迫切需求下，各种大数据技术层出不穷，从数据存储到数据查询，再到数据计算分析，每个阶段都有许多可用的技术框架，这对行业的发展起到了促进作用。但也导致了以下问题：选型困难、易用性不高、开发环境难以配置，这些问题也困扰着广大个人工作者或一些小型的公司。

现有的大数据平台在使用时，需要用户自行搭建大数据集群，然后再使用自己搭建的集群来学习大数据，此种方式对于新人来说，其操作复杂且容易出错，造成实际生产的集群环境无法满足需求。因此，需要提供一种新的技术方案给予解决。

发明内容

本发明的目的在于提供一种交互式统一大数据编程计算平台，解决了现有技术中现有的大数据平台在使用时，需要用户自行搭建大数据集群，然后再使用自己搭建的集群来学习大数据，此种方式对于新人来说，其操作复杂且容易出错，造成实际生产的集群环境无法满足需求的问题。

为实现上述目的，本发明提供如下技术方案：一种交互式统一大数据编程计算平台，包括：用户登录管理模块，所述用户登录管理模块内包括统一目录服务模块。所述统一目录服务模块内包括身份管理模块、认证管理模块、访问控制模块和审计管理模块，所述身份管理模块和认证管理模块用于用户的身份信息录入与登录认证管理，保证用户登录的有效性，访问控制模块和审计管理模块用于用户的管理权限和审计，提高安全性，所述用户登录管理模块的左侧连接有交互式编程平台，所述交互式编程平台内左侧连接有前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面，所述前端编程开发界面、基于JupyterHub的编程内核支撑环境、后端服务器和操作界面的左侧连接有大数据存储计算集群，所述大数据存储计算集群内包括大数据计算引擎、分布式数据库和分布式文件系统，所述分布式数据库内包括云端数据库、MySql数据库、WebService数据库和HttpJson数据库，保证了数据的全面性和有效性，所述分布式数据库内设有数据采集模块且数据采集模块右侧连接有数据分类模块，所述数据分类模块右侧设有数据计算控制模块，所述大数据计算引擎、分布式数据库和分布式文件系统的左侧内包括虚拟计算、虚拟网络、虚拟存储和操作系统，所述虚拟计算、虚拟网络、虚拟存储和操作系统的左侧连接有硬件管理系统，所述大数据计算引擎的上部连接有集群运维管理模块和集群运维监控模块，所述分布式文件系统的下部设有资源共享管理模块和资源共享调度模块，所述资源共享管理模块和资源共享调度模块用于数据计算中的数据合理调用和管理，合理的调度和管理提供了数据计算的速度。

作为本发明的一种优选实施方式，所述身份管理模块、认证管理模块、访问控制模块和审计管理模块的右侧连接有云服务认证模块，所述云服务认证模块用于保证用户信息的安全性和时效性。

作为本发明的一种优选实施方式，所述交互式编程平台内包括编程作业空间和作业管理模块，所述作业管理模块内设有作业提交和作业监控，保证了作业的安全性。