[发明专利]一种大数据存储方法

权利要求书

1.一种大数据存储方法，其特征在于，其包括以下压缩步骤：

S1：从上层应用获取原始数据，对原始数据进行遍历；

S2：对遍历完的原始数据根据聚类算法拆分成前缀数据和后缀数据；

S3：获取使用该些数据的机器的唯一识别ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和；

S4：将所述前缀数据结合所述校验和，进行加密运算，生成加密的前缀数据文件；

S5：将所述后缀数据结合所述校验和，进行反向加密运算，生成加密的后缀数据文件；

S6：将所述识别ID、校验和、校验规则以及压缩规则写到头文件，生成头部压缩文件；

S7：将前缀数据文件进行压缩生成前缀压缩文件，将后缀数据文件进行压缩生成后缀压缩文件；

所述步骤S2聚类算法包括如下步骤：

S21：获取样本数据，统计样本数据单条数据的最大长度Lmax和最小长度Lmin；

S22：设定样本数据采样相近的样本阈值N1位数；

S23：样本聚类学习，计算样本数据个体之间的相似度，选择出样本数据个体的局部最优位置向量和种群的全局最优位置向量；

S24：通过样本聚类学习将样本数据划分为M1个集群；

S25：设定聚类阈值N2本位数；

S26：比较单个集群相似度位数个数Q，判断相似度位数个数Q是否大于N2；

S271：当相似度位数个数Q＞N2时，将集群归为前缀数据；

S272：当相似度位数个数Q＜N2时，将集群归为后缀数据；

所述前缀压缩文件、后缀压缩文件通过一种大数据压缩包解压方法解压，其包括以下解压步骤：

S01：获取前缀压缩文件、后缀压缩文件以及头部压缩文件；

S02：根据头部压缩文件中的校验和、校验规则以及压缩规则对所述前缀压缩文件以及后缀压缩文件进行解压缩；

S03：组织步骤二的文件形成加密的前缀文件以及加密的后缀文件；

S04：根据识别ID、校验和以及加密规则对所述加密的前缀文件以及加密的后缀文件进行解密得到前缀数据以及后缀数据；

S05：根据S2中的聚类算法重组所述前缀数据以及后缀数据形成原始数据。

2.根据权利要求1所述的一种大数据存储方法，其特征在于，所述前缀数据、后缀数据以及校验和是根据DES加密算法形成加密的前缀数据文件以及加密的后缀数据文件。

3.根据权利要求1所述的一种大数据存储方法，其特征在于，步骤S7可以具体为：建立具有索引的数据字符串以及编码的映射表，根据所述映射表对步骤S4中所述加密的前缀数据文件进行数据字符串压缩编译，在压缩编译时，相同的数据字符串以编码对应的索引表示。

4.根据权利要求3所述的一种大数据存储方法，其特征在于，根据所述映射表对步骤S4中所述加密的后缀数据文件进行数据字符串压缩编译。

5.根据权利要求4所述的一种大数据存储方法，其特征在于，步骤S7中对所述加密的前缀数据文件以及加密的后缀数据文件压缩编译时，结合校验和进行分段压缩形成若干个前缀压缩文件以及若干个后缀压缩文件。

6.根据权利要求5所述的一种大数据存储方法，其特征在于，步骤S7中对所述加密的后缀数据文件进行分段压缩时，根据校验和的值对每一条所述后缀数据文件的数据进行切割得到第一后缀数据以及第二后缀数据，将每一条所述后缀数据文件的数据的第一后缀数据存储到其中一个后缀压缩文件中，每一条所述后缀数据文件的数据的第二后缀数据存储与所述其中一个后缀压缩文件相对的另一个后缀压缩文件中。

7.一种大数据压缩包解压方法，其用于解压如权利要求1-6中任意一项所述的一种大数据存储方法得到的前缀压缩文件以及后缀压缩文件，其特征在于，其包括以下解压步骤：

S01：获取前缀压缩文件、后缀压缩文件以及头部压缩文件；

S02：根据头部压缩文件中的校验和、校验规则以及压缩规则对所述前缀压缩文件以及后缀压缩文件进行解压缩；

S03：组织步骤二的文件形成加密的前缀文件以及加密的后缀文件；

S04：根据识别ID、校验和以及加密规则对所述加密的前缀文件以及加密的后缀文件进行解密得到前缀数据以及后缀数据；

S05：根据聚类算法重组所述前缀数据以及后缀数据形成原始数据。