[发明专利]一种海量数据平台与大数据平台融合方法

权利要求书

1.一种海量数据平台与大数据平台融合方法，其特征在于，所述大数据平台包括数据采集层、数据缓存层和数据存储层；所述融合方法包括：

数据采集层采用分布式消息队列Kafka机制，实现海量数据平台的测点数据与大数据平台的传输；

数据缓存层采用REDIS键值型内存数据库，存储海量数据平台的测点数据，实现应用端数据查询和数据写入需求；

数据存储层采用HBASE列式存储，结合测点数据时序特征，对测点数据特征进行列式存储；

所述数据采集层包括实时数据处理模块，通过数据采集层对数据采集的方法包括：

对测点ID哈希，将测点数据均匀地分发到相应的消息队列；

所述消息队列中的数据量达到第一阀值或者达到预定时间后，向实时数据处理模块发布；

实时数据处理模块读取数据后，存入数据缓存层，并写入数据存储层，同时提供数据实时查询模块；

所述实时数据处理模块向用户提供数据查询接口，通过数据查询接口对数据查询的方法包括：

用户查询实时数据时，通过实时数据查询模块在数据缓存层REDIS中进行查询，判断数据缓存层REDIS是否存有数据，如果有，则返回查询结果，如果没有，则进入到数据存储层HBASE中查询并返回查询结果；

所述融合方法包括将海量数据平台数据库中的测点信息迁移到大数据平台关系库中；

将海量数据平台数据库中的测点信息迁移到大数据平台关系库的方法包括将海量平台数据库中的测点信息的ID保留到海量平台数据库中，在大数据平台关系库的测点信息表中，重新生成ID；

所述大数据平台设置UAPI接口，UAPI接口包括BYID接口和BYNAME接口，应用端使用BYNAME接口进行操作，通过BYNAME接口在大数据平台关系库中通过NAME查找到ID，进入BYID接口中进行操作；

所述UAPI接口包括UAPI查询接口，所述UAPI查询接口包括断面查询接口和批量查询接口，所述数据查询的方法包括：

应用端使用UAPI查询接口发出查询数据请求，在大数据平台的数据缓存层REDIS中查找数据，如果查找到数据则返回；

如果未查找到，则根据UAPI查询接口类型在数据存储层HBASE中查找对应表，查询对应的数据；

所述UAPI接口包括UAPI写值接口，通过UAPI写值接口对数据写入的方法包括：

通过UAPI写值接口将数据写入Kafka缓存区中，将Kafka缓存区中的数据分别写成两份，包括第一份和第二份；所述第一份写入HDFS大文件中，数据量超过第二阈值后，再分为两份分别写入数据存储层HBASE的断面表和时序表中；

所述第二份写入数据缓存层REDIS中，以供应用端通过UAPI查询接口查询还未写入数据存储层HBASE中的数据。