[发明专利]一种可进行大量数据处理的存储结构

说明书

本发明属于大数据存储技术领域，尤其是涉及一种可进行大量数据处理的存储结构，包括列数据库，所述大量数据来源多个系统，且数据可能是文件、可能是其他关系型数据库中的交易数据，所述列数据库需要多个维度建立数据统计模型，且存储的数据来自于历史的，存档的，归纳的和计算的数据，所述列数据库需要访问大量的记录才能统计出结果，所述列数据库更新数据很少并且都是添加数据和查询数据。本发明提出一个新的思路来解决线上业务能够在服务非常大量用户的同时，具体的，利用分布式列式数据库和SSD硬盘对业务场景进行优化，在提升服务性能的同时，降低硬件使用成本。

技术领域

本发明涉及大数据存储技术领域，尤其涉及一种可进行大量数据处理的存储结构。

背景技术

线上服务对于响应的延迟是十分敏感的，任何过长的查询或操作时间，都会导致服务使用的体验严重下降，并造成用户的流失。然而随着目前业务的扩展，数据量越来越大，传统的关系型数据库很难再满足日益增长的需求，所以需要使用一种更加现代和新型的存储模型。

此时列式数据库在应对上述的情况时，能够在非常大量的数据时，依然通过主键能够提供性能远远大于传统关系型数据库的行式结构。

本文提出一个新的思路来解决线上业务能够在服务非常大量用户的同时，提供低延迟的服务并且控制整体成本。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种可进行大量数据处理的存储结构。

为了实现上述目的，本发明采用了如下技术方案：

一种可进行大量数据处理的存储结构，包括列数据库，所述大量数据来源多个系统，且数据可能是文件、可能是其他关系型数据库中的交易数据，所述列数据库需要多个维度建立数据统计模型，且存储的数据来自于历史的，存档的，归纳的和计算的数据，所述列数据库需要访问大量的记录才能统计出结果，所述列数据库更新数据很少并且都是添加数据和查询数据；

大量数据在存储时的方法大致包括以下步骤：

A1、选用优秀的数据库工具，并选用HBase X-Pack分布式列式数据库；

A2、对海量数据进行分区操作，并建立广泛的索引，建立缓存机制；

A3、采样数据，进行数据挖掘，海量数据关联存储；

A4、由HBase X-Pack向外提供高性能的随机读写操作；

A5、每日定时将前一日数据进行聚合同步归档至其他低性能但低价的数据库。

在上述的一种可进行大量数据处理的存储结构中，所述步骤A1 中选用的HBaseX-Pack是基于HBase及HBase生态构建的低成本一站式数据处理平台，且HBase X-Pack支持HBase API(包括 RestServerThriftServer)、关系Phoenix SQL、时序OpenTSDB、全文Solr、时空GeoMesa、图HGraph和分析Spark on HBase，所述HBase X-Pack能够实现数据从处理、存储到分析全流程闭环。

在上述的一种可进行大量数据处理的存储结构中，所述步骤A2 中在建立索引是通过Key来实现的，所述HBase表设计中最重要的就是定义Row-Key的结构，且定义Row-Key的结构时需要考虑表的接入样本。

在上述的一种可进行大量数据处理的存储结构中，所述HBase表是通过Row Key的字典序来对一行行的数据来进行排序的，且表中每一块区域的划分都是通过开始Row Key和结束Row Key来决定的，所述HBase表中的所有存储数据都是二进制的字节并没有数据类型。

在上述的一种可进行大量数据处理的存储结构中，所述步骤A3 中使用SSD硬盘来作为硬件用于存储业务数据并提供良好性能。