[发明专利]一种可进行大量数据处理的存储结构

权利要求书

1.一种可进行大量数据处理的存储结构，其特征在于，包括列数据库，所述大量数据来源多个系统，且数据可能是文件、可能是其他关系型数据库中的交易数据，所述列数据库需要多个维度建立数据统计模型，且存储的数据来自于历史的，存档的，归纳的和计算的数据，所述列数据库需要访问大量的记录才能统计出结果，所述列数据库更新数据很少并且都是添加数据和查询数据；

大量数据在存储时的方法大致包括以下步骤：

A1、选用优秀的数据库工具，并选用HBase X-Pack分布式列式数据库；

A2、对海量数据进行分区操作，并建立广泛的索引，建立缓存机制；

A3、采样数据，进行数据挖掘，海量数据关联存储；

A4、由HBase X-Pack向外提供高性能的随机读写操作；

A5、每日定时将前一日数据进行聚合同步归档至其他低性能但低价的数据库。

2.根据权利要求1所述的一种可进行大量数据处理的存储结构，其特征在于，所述步骤A1中选用的HBase X-Pack是基于HBase及HBase生态构建的低成本一站式数据处理平台，且HBase X-Pack支持HBase API(包括RestServerThriftServer)、关系Phoenix SQL、时序OpenTSDB、全文Solr、时空GeoMesa、图HGraph和分析Spark on HBase，所述HBase X-Pack能够实现数据从处理、存储到分析全流程闭环。

3.根据权利要求2所述的一种可进行大量数据处理的存储结构，其特征在于，所述步骤A2中在建立索引是通过Key来实现的，所述HBase表设计中最重要的就是定义Row-Key的结构，且定义Row-Key的结构时需要考虑表的接入样本。

4.根据权利要求3所述的一种可进行大量数据处理的存储结构，其特征在于，所述HBase表是通过Row Key的字典序来对一行行的数据来进行排序的，且表中每一块区域的划分都是通过开始Row Key和结束Row Key来决定的，所述HBase表中的所有存储数据都是二进制的字节并没有数据类型。

5.根据权利要求1所述的一种可进行大量数据处理的存储结构，其特征在于，所述步骤A3中使用SSD硬盘来作为硬件用于存储业务数据并提供良好性能。

6.根据权利要求1所述的一种可进行大量数据处理的存储结构，其特征在于，所述步骤A4中Hbase X-Pack读写操作采用get方法，提供了批量获取数据方法，通过组装一个listGetgets即可实现。

7.根据权利要求1所述的一种可进行大量数据处理的存储结构，其特征在于，所述步骤A5中的低价数据库选用MySQL数据库，且MySQL数据库具有双节点架构、自动容灾的特点。