[发明专利]海量数据存储的方法及终端设备

权利要求书

1.一种海量数据存储的方法，其特征在于，包括：

获取待存储数据；

将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性；

采用面向列的形式，存储所述多个列数据。

2.如权利要求1所述的海量数据存储的方法，其特征在于，在所述将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性之后，所述方法还包括：

确定所有列数据中的主键数据对应的主键列数据；

按照所述主键列数据、除所述主键列数据之外的列数据顺序排列。

3.如权利要求2所述的海量数据存储的方法，其特征在于，在所述按照所述主键列数据、除所述主键列数据之外的列数据顺序排列之后，所述方法还包括：

将所述所有列数据按预设规则进行分区，获得分区后的列数据。

4.如权利要求3所述的海量数据存储的方法，其特征在于，所述将所述所有列数据按预设规则进行分区，获得分区后的列数据，包括：

将所述主键列数据按预设规则分区，获得分区后的主键列数据；

将除所述主键列数据之外的列数据按照所述主键列数据的分区方式进行分区，获得分区后的列数据。

5.如权利要求4所述的海量数据存储的方法，其特征在于，在所述将所有列数据按预设规则进行分区，获得分区后的列数据之后，所述方法还包括：

根据业务需求的数据的属性，确定对应的需求列数据；

按照业务需求建立各个分区与所述需求列数据的索引表，所述索引表包括索引号、分区标号和所述分区标号对应的所述需求列数据。

6.如权利要求3所述的海量数据存储的方法，其特征在于，所述采用面向列的形式，存储所述多个列数据，包括：

将所述分区后的列数据进行压缩，采用面向列的形式将压缩后的多个列数据进行存储。

7.如权利要求6所述的海量数据存储的方法，其特征在于，所述将所述分区后的列数据进行压缩，包括：

A、将所述列数据中的任一第一数据存入缓存中，将所述第一数据中各个字节依次与第一存储区内存储的第二数据的字节进行比较；

B、若所述第一数据与所述第二数据进行首次匹配且无相同字节时，确定所述第一数据中待压缩字节的首字母位置信息为第一信息，输出所述第一数据中进行比较的字节，并将所述第一数据中进行比较的字节依次存储在所述第一存储区，直至所述第一存储区内存储的所述第二数据的字节数满足预设字节长度；

C、若所述第一数据与所述第二数据进行重复匹配时无相同字节，或者连续相同字节长度小于所述预设字节长度时，确定所述第一数据中待压缩字节的首字母位置信息为第二信息，并输出所述第一数据中进行比较的字节；

D、若所述第一数据与所述第二数据进行重复匹配时连续相同字节长度大于或等于所述预设字节长度时，确定所述第一数据中待压缩字节的首字母位置信息为第三信息，并输出所述第一数据中与所述第二数据中相同字节的位置信息；

E、根据所述第二数据、所述待压缩字节的首字母位置信息以及输出的所述第一数据中进行比较的字节或者相同字节的位置信息，确定所述第一数据中不可压缩字节；

F、根据所述第二数据、所述待压缩字节的首字母位置信息以及所述不可压缩字节，确定对所述第一数据进行压缩后的数据；

G、根据步骤A、B、C、D、E以及F所述的方法对列数据中所有数据进行压缩。

8.一种海量数据存储的装置，其特征在于，包括：

获取模块，用于获取待存储数据；

确定模块，用于将所述待存储数据按照多个预设属性进行划分为多个列数据，每个列数据对应一个预设属性；

存储模块，用于采用面向列的形式，存储所述多个列数据。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。