[发明专利]一种大数据存储方法

说明书

本发明提供一种大数据存储方法，其包括以下步骤，S1：从上层应用获取原始数据，对原始数据进行遍历；S2：对遍历完的原始数据根据聚类算法拆分成前缀数据和后缀数据；S3：获取使用该些数据的机器的唯一识别ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和；S4：将所述前缀数据结合所述校验和，进行加密运算，生成加密的前缀数据文件；S5：将所述后缀数据结合所述校验和，进行反向加密运算，生成加密的后缀数据文件；S6：将所述识别ID、校验和、校验规则以及压缩规则写到头文件，生成头部压缩文件；S7：将前缀数据文件进行压缩生成前缀压缩文件，将后缀数据文件进行压缩生成后缀压缩文件。

技术领域

本发明涉及一种数据存储算法，尤其涉及一种大数据存储方法。

背景技术

现有信息数据存储，常规的存储是十分占用硬盘空间的，而且数据以明文的方式存储是不安全的，容易导致数据外泄，而对于有一定数据规则的数据我们可以对其进行加密压缩存储的。数据加密是为了保住数据的安全性，而数据压缩存储是为了减少数据的冗余，减少数据的存储空间，提高数据的传输效率，而对数据压缩存储的手段需要保证数据解压出来的完整性，保证数据在传输的时候不能丢失相关信息，解压时按照一定的算法规则对数据进行重新组织，因此，需要提出一种大数据存储方法。

发明内容

本发明提供一种大数据存储方法，完成对数据的加密以及压缩，加密压缩后的数据即使外泄，若不具有对应的组织规则以及加密方式则无法对数据进行解压重构，保证数据存储及传输安全。

本发明提供一种大数据存储方法，其包括以下压缩步骤：

S1：从上层应用获取原始数据，对原始数据进行遍历；

S2：对遍历完的原始数据根据聚类算法拆分成前缀数据和后缀数据；

S3：获取使用该些数据的机器的唯一识别ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和；

S4：将所述前缀数据结合所述校验和，进行加密运算，生成加密的前缀数据文件；

S5：将所述后缀数据结合所述校验和，进行反向加密运算，生成加密的后缀数据文件；

S6：将所述识别ID、校验和、校验规则以及压缩规则写到头文件，生成头部压缩文件；

S7：将前缀数据文件进行压缩生成前缀压缩文件，将后缀数据文件进行压缩生成后缀压缩文件。

其中，参阅图2，步骤S2中的聚类算法具体包括以下步骤：

S21：获取样本数据，统计样本数据单条数据的最大长度Lmax和最小长度Lmin；S22：设定样本数据采样相近的样本阈值N1位数；

S23：样本聚类学习，计算样本数据个体之间的相似度，选择出样本数据个体的局部最优位置向量和种群的全局最优位置向量；

S24：通过样本聚类学习将样本数据划分为M1个集群；

S25：设定聚类阈值N2本位数；

S26：比较单个集群相似度位数个数Q，判断相似度位数个数Q是否大于N2；S271：当相似度位数个数Q＞N2时，将集群归为前缀数据；

S272：当相似度位数个数Q＜N2时，将集群归为后缀数据。

优选的，所述前缀数据、后缀数据以及校验和是根据DES加密算法形成加密的前缀数据文件以及加密的后缀数据文件。

优选的，步骤S7可以具体为：建立具有索引的数据字符串以及编码的映射表，根据所述映射表对步骤S4中所述加密的前缀数据文件进行数据字符串压缩编译，在压缩编译时，相同的数据字符串以编码对应的索引表示。