[发明专利]一种电力大数据实验平台

说明书

本发明公开了一种电力大数据实验平台，包括硬件层和与其通讯的软件层，所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互。本发明的电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。

技术领域

本发明涉及一种电力大数据实验平台。

背景技术

大数据已经成为左右各行各业竞争能力和生存发展的必要因素，先行者已通过技术手段确立或扭转了市场地位，而像Oracle、SAP、Microsoft、IBM等传统数据库厂商，依靠在传统数据库上的市场优势，逐渐向客户提供端到端的大数据解决方案。都相继推出大数据整套产品，从数据存储、数据计算、数据探索、数据展现等方面，帮助企业解决大数据问题，提高企业竞争力。

随着智能电网的深化建设，电力系统生产、运行、销售、管理等过程产生出大量数据，迫切需要利用大数据技术，高效挖掘多源异构电力数据，深度发现电力数据价值，提升电网发展运营水平，提高对社会经济的服务水平。

发明内容

本发明的目的是克服现有技术的缺陷，提供一种电力大数据实验平台，以电力大数据的应用为核心，为电力大数据的组件研发、系统集成、模拟验证、数据共享、示范应用等奠定技术和工程基础。

实现上述目的的技术方案是：一种电力大数据实验平台，包括硬件层和与其通讯的软件层，其中:

所述硬件层包括35个节点，分别为12个配用电大数据专用存储计算节点、11个配用电大数据混合并行计算节点、4个配用电大数据高性能计算节点、3个分布式数据采集节点、2个大数据集群管理节点和3个大数据可视化节点，各所述节点之间通过千兆管理网络和万兆数据网络进行信息交互；

所述软件层包括安全管控模块、优化存储模块、全文搜索模块、实时同步模块、数据集成模块、日志采集模块、消息队列模块、资源管理模块、批处理模块、批处理框架模块、工作流模块、交互分析模块、交互工具模块、Inceptor SQL引擎、数据挖掘机器学习模块、Hyper base列式数据库、流处理引擎和协作服务模块，所述优化存储模块内置TranswarpErasure Code；所述资源管理模块内置Transwarp Extension。

上述的一种电力大数据实验平台，所述硬件层中：所述千兆管理网络包括两台千兆交换机；所述万兆数据网络包括两台万兆交换机。

上述的一种电力大数据实验平台，所述软件层中：

所述Inceptor SQL引擎，支持完整的SQL语法；

所述Hyper base列式数据库，通过多种索引技术的组合使用，实现范围查询和模糊查询高速反馈；

所述数据挖掘机器学习模块支持聚类和回归通用算法和机器学习算法的调用，以及面向电力应用算法的自定义开发；

所述流处理引擎支持流式数据的实时处理；

所述安全管控模块用于对电力大数据进行行列安全控制；

所述数据集成模块，集成了电网生产、运行、销售和管理各环节数据，同时通过与政府、企业和高校合作，集成了地理、气象、经济、社会、环境、能源和金融外部数据。

上述的一种电力大数据实验平台中，所述安全管控模块自下而上分为四层，最底层是存储在大数据实验平台中的安全策略层，存储了对于文件、数据库和缓存数据的安全控制策略；

第二层是安全策略执行引擎，是根据上层用户的访问需求读取底层的安全策略并执行，实现用户对大数据实验平台的安全访问和数据获取；