[发明专利]一种大数据的汇集存储方法与系统

摘要

本发明公开了一种大数据的汇集存储方法与系统，方法包括：数据采集：实时采集多个数据源的多维原始数据；数据汇集：汇集与其建立通信通道的数据采集的数据，并把汇集到的数据发送至数据清洗模块；数据清洗：对数据汇集得到的数据进行数据清洗，所述的数据清洗包括定位并替换数据中的缺省值和异常值；数据存储：将数据清洗得到的对象流进行存储。本发明在现有的大数据系统之上，对大数据进行收集与清洗之后进行存储，解决现有技术使用固定分块的形式，导致特别多固定分块，其利用次数极少但是仍然占用大量空间，使得存储系统的整体利用率不高的问题。

主权项

1.一种大数据的汇集存储方法，其特征在于：包括：数据采集：实时采集多个数据源的多维原始数据；数据汇集：汇集与其建立通信通道的数据采集的数据，并把汇集到的数据发送至数据清洗模块；数据清洗：对数据汇集得到的数据进行数据清洗，所述的数据清洗包括定位并替换数据中的缺省值和异常值；所述的缺省值的替换包括：在每个缺省值附近使用K近邻算法，计算附近K个样本在范围为N的数据集中分别出现的次数，用出现频率最大的数据作为正常值替换掉缺省值；所述的异常值的替换包括：默认数据服从正态分布，根据拉依达准则法，确定包含原始数据的数据集的数学期望μ和标准方差σ，对于各个数据的偏差大于标准偏差的，认为是异常值，对于异常值，使用K近邻算法，计算附近K个近邻样本在范围为N的数据集中分别出现的次数，用出现频率最大的数据作为正常值替换掉异常值；数据存储：将数据清洗得到的对象流进行存储；所述的数据存储包括以下子步骤：S1：接收对象流；S2：将对象流中的对象进行通过内容比较的方式进行分段，得到多个数据片段，并建立对数据片段到对象的反相引用，或者上传数据片段并将指纹值更新至指纹值数据库，包括以下子步骤：S21：获取比较组，所述的比较组为对象的第m位至m+X位；其中，m为比较组的初始位，m的初始值为0，X为固定步长；S22：计算比较组对应的指纹值；S23：按照步骤S22计算得到的指纹值生成反映所述指纹值与对应的存储位置的映射关系对应表；S24：调用指纹值数据库，判断所述指纹值数据库中是否存在所述指纹值：(1)如果能够对应：则将缓存中的指纹值进行更新，将比较组更新为m～m+X+p*n位，同时返回步骤S22，其中p为m未更新的情况下的能够对应的总次数，n为每次能够对应后增加的增加步长；(2)如果不能够对应，则进一步判断缓存中是否存在指纹值：(2‑1)如果缓存中存在指纹值，则建立所述指纹值对应的数据片段到所述对象的反向引用，同时清空缓存，将比较组的初始位m更新为m+X+(p‑1)*n+1，完成后返回步骤S21；(2‑2)如果缓存中不存在指纹值，则上传所述对象的前X位的数据片段，并将对应的指纹值更新至所述指纹值数据库，将比较组的初始位m更新为m+X+1，完成后返回步骤S21；S3：当完成整个对象的分段，则结束。