[发明专利]一种海量数据平台与大数据平台融合方法

摘要

本发明公开了一种海量数据平台与大数据平台融合方法，该平台包括数据采集层、数据缓存层和数据存储层；该融合方法包括：数据采集层采用分布式消息队列Kafka机制，实现测点数据传输；数据缓存层采用REDIS键值型内存数据库，实现用户即席查询需求；数据存储层采用HBASE列式存储，结合测点数据时序特征，对测点数据特征进行列式存储，本发明提出的海量数据平台与大数据平台融合方法，实现了海量平台与大数据平台最佳融合，通过统一技术路线、统一技术支持、明确职责分工，实现大数据应用服务平台化，全面支撑各专业大数据应用需求，解决公司各专业的大数据应用需求，保障数据和业务的连续性。

主权项

1.一种海量数据平台与大数据平台融合方法，其特征在于，所述大数据平台包括数据采集层、数据缓存层和数据存储层；所述融合方法包括：数据采集层采用分布式消息队列Kafka机制，实现海量数据平台的测点数据与大数据平台的传输；数据缓存层采用REDIS键值型内存数据库，存储海量数据平台的测点数据，实现应用端数据查询和数据写入需求；数据存储层采用HBASE列式存储，结合测点数据时序特征，对测点数据特征进行列式存储。