[发明专利]一种大数据的分析方法及系统

权利要求书

1.一种大数据的分析方法，其特征在于，包括：

将大数据按时间分片存储在分布式数据库；

在服务器本地缓存中设置缓存大数据的原始数据临时表及索引表，索引表中设置了对应大数据在原始数据临时表中的位置信息；

在进行大数据分析时，采用二级索引方式，根据服务器中的索引表中存储的对应大数据在原始数据临时表中的位置信息，从原始数据临时表调用大数据进行分析，得到分析结果，存储在分布式数据库中；

所述索引表中设置了对应大数据在原始数据临时表中的位置信息为远程过程调用大数据的信息。

2.如权利要求1所述的方法，其特征在于，所述分布式数据库为Hbase数据库。

3.如权利要求1所述的方法，其特征在于，在所述大数据存储到分布式数据库之前，还包括对大数据的完整性验证及合法性验证，其中，完整性验证是由网络系统中的redis完成的，通过后，将大数据发送给服务器本地完成合法性验证。

4.如权利要求1所述的方法，其特征在于，所述缓存大数据的原始数据临时表缓存大数据的方式为：

行键rowkey采用远程过程调用追溯标识traceID、入口方法名entrace及时间设置，列名设置为任意值，键值对中的键值采用远程过程调用中间调用标识spanID和大数据值roleID拼接而成。

5.如权利要求4所述的方法，其特征在于，所述索引表中设置了对应大数据在原始数据临时表中的位置信息的过程为：将入口方法名及时间作为rowkey，列名设置为任意值，键值对中的键值采用原始数据表中的rowkey。

6.如权利要求2所述的方法，其特征在于，所述将大数据存储在Hbase中包括：行键rowkey采用远程过程调用追溯标识traceID、入口方法名entrace及时间设置，列名设置为任意值，键值对中的键值采用远程过程调用中间调用标识spanID和大数据值roleID拼接而成。

7.一种大数据的分析系统，其特征在于，包括：存储单元、设置单元、分布式数据库及分析单元，其中，

存储单元，用于将大数据按时间分片存储在分布式数据库；

设置单元，用于在服务器本地缓存中设置缓存大数据的原始数据临时表及索引表，索引表中设置了对应大数据在原始数据临时表中的位置信息；所述索引表中设置了对应大数据在原始数据临时表中的位置信息为远程过程调用大数据的信息；

分布式数据库，用于按照时间分片存储大数据，及分析结果表；

分析单元，用于采用二级索引方式，根据服务器中的索引表中存储的对应大数据在原始数据临时表中的位置信息，从原始数据临时表调用大数据进行分析，得到分析结果，存储在分布式数据库中。

8.如权利要求7所述的系统，其特征在于，所述分布式数据库为Hbase数据库。

9.如权利要求7所述的系统，其特征在于，还包括验证单元，用于在所述大数据存储到分布式数据库之前，对大数据的完整性验证及合法性验证。

10.一种大数据的分析装置，其特征在于，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1-6中任一项所述的大数据的分析方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述的大数据的分析方法。