[发明专利]一种海量数据平台与大数据平台融合方法

说明书

本发明公开了一种海量数据平台与大数据平台融合方法，该平台包括数据采集层、数据缓存层和数据存储层；该融合方法包括：数据采集层采用分布式消息队列Kafka机制，实现测点数据传输；数据缓存层采用REDIS键值型内存数据库，实现用户即席查询需求；数据存储层采用HBASE列式存储，结合测点数据时序特征，对测点数据特征进行列式存储，本发明提出的海量数据平台与大数据平台融合方法，实现了海量平台与大数据平台最佳融合，通过统一技术路线、统一技术支持、明确职责分工，实现大数据应用服务平台化，全面支撑各专业大数据应用需求，解决公司各专业的大数据应用需求，保障数据和业务的连续性。

技术领域

本发明涉及电网数据分析领域，具体是涉及一种海量数据平台与大数据平台融合方法。

背景技术

经过国网SG186工程、SG-ERP的建设，目前已建成结构化、非结构化、海量历史/准实时、电网空间地理信息四类数据中心平台，有效支撑企业数据共享融合分析决策系统建设。

尽管现有数据中心有效支撑分析决策应用建设，但随着公司各业务系统数据量不断增大，以及数据价值挖掘需求的增长，针对平台需要在横向扩展、实时快速处理能力方面进一步提升，针对应用功能建设需要在跨业务/部门分析能力方面需进一步优化。

目前公司海量、多样的数据资源为数据深层次分析提供了良好条件，可围绕电网生产、经营管理、优质服务业务需求等相关业务研究创新应用，同时开展数据处理性能提升、数据价值挖掘、将数据转变为资产等工作，通过应用大数据技术，挖掘海量数据信息价值，可有效解决现有核心业务系统数据处理效率低、分析能力弱等问题。目前的行业内各专业均有大数据应用需求、大数据解决方案和产品路线众多，从一体化企业级信息系统的角度出发，亟需构建统一平台，以避免重复建设。

发明内容

为解决现有技术的不足，本发明的目的在于提出一种海量数据平台与大数据平台融合方法。该方法实现了两个平台的最优融合，通过统一技术路线、统一技术支持、明确职责分工，实现大数据应用服务平台化，全面支撑各专业大数据应用需求，解决了公司各专业的大数据应用需求，保障了数据和业务的连续性。

为了实现上述目标，本发明采用如下的技术方案：一种海量数据平台与大数据平台融合方法，所述大数据平台包括数据采集层、数据缓存层和数据存储层；所述融合方法包括：

数据采集层采用分布式消息队列Kafka机制，实现海量数据平台的测点数据与大数据平台的传输；

数据缓存层采用REDIS键值型内存数据库，存储海量数据平台的测点数据，实现应用端数据查询和数据写入需求；

数据存储层采用HBASE列式存储，结合测点数据时序特征，对测点数据特征进行列式存储。

优选地，所述数据采集层包括实时数据处理模块，所述数据采集方法包括：

对所述测点ID哈希，将测点数据均匀地分发到相应的消息队列；

所述消息队列中的数据量达到第一阀值或者达到预定时间后，向实时数据处理模块发布；

实时数据处理模块读取数据后，存入数据缓存层，并写入数据存储层，同时提供数据实时查询模块。

优选地，所述实时数据处理模块向用户提供数据查询接口，所述数据查询方法包括：用户查询实时数据时，通过实时数据查询模块在数据缓存层REDIS中进行查询，判断数据缓存层REDIS是否存有数据，如果有，则返回查询结果，如果没有，则进入到数据存储层HBASE中查询并返回查询结果。

优选地，所述融合方法包括将海量数据平台数据库中的测点信息迁移到大数据平台关系库中。

优选地，所述迁移方法包括将海量平台数据库中的测点信息的ID保留到海量平台数据库中，在大数据平台关系库的测点信息表中，重新生成ID。