[发明专利]一种大数据校验方法

说明书

技术领域

本发明涉及数据处理领域，特别是涉及一种大数据校验方法。

背景技术

在物联网高速发展的时代，随着视频监控等设备的普及和互联网接入，大数据性特征愈加明显。目前业界对于各类型数据的分布式存储研究较多。但在数据验证领域研究的较少，鲜有新的突破。业内基本上都采取利用传统的MD5，CRC32，SHA1等算法对文件直接校验的方式。这些算法的思想如下：

（1）MD5：对MD5算法简要的叙述可以为：MD5以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过了一系列的处理后，算法的输出由四个32位分组组成，将这四个32位分组级联后将生成一个128位散列值。

（2）CRC：CRC校验码的基本思想是利用线性编码理论，在发送端根据要传送的k位二进制码序列，以一定的规则产生一个校验用的监督码（即CRC码）r位，并附在信息后边，构成一个新的二进制码序列数共(k+r)位，最后发送出去。在接收端，则根据信息码和CRC码之间所遵循的规则进行检验，以确定传送中是否出错。

（3）SHA：SHA又叫安全散列算法。SHA家族算法有SHA-1、SHA-224、SHA-256、SHA-384和SHA-512（后四者通常并称SHA2），原理和MD4、MD5相似。SHA可将一个最大2^64位（2305843009213693952字节）信息，转换成一串160位（20字节）的散列值（摘要信息），是目前应用最广的HASH算法。

通过这些算法的描述我们可以看出，这些主流文件校验方式都是将原始数据转化成一个连续的比特流，然后对这个比特流进行迭代处理，最后计算出验证结果。这种模式在处理较大的单个文件时，需要将整个大文件下载完毕，并将整个大文件按照连续的比特流处理，无法边下载边验证。此时验证文件所需的时间和空间要求较高，系统开销增大，严重影响了系统对于大文件上传下载的处理速度。

本发明的目的是克服现有技术中存在的不足，提出一种物联网大数据快速校验方法，包括大文件上传验证方法和大文件下载校验方法。大文件上传验证方法对大文件数据进行分割预处理后形成多个块文件和关节节点，然后进行多线程并发验证和多线程并发上传；大文件下载校验方法启用多线程并发下载块文件至客户端,并多线程并发验证块文件的正确性，组合文件，最后校验文件组合的整体正确性。

发明内容

本发明实施例的目的在于提供一种大数据校验方法，以效解决了物联网大数据处理中的大文件验证速度瓶颈问题。

为了达到上述目的，本发明实施例公开了一种大数据的校验方法，所述方法包括：

对目标大据进行预处理，得到至少一个块文件，并对所述至少一个块文件进行验证，得到每一个块文件的校验信息；

根据每一个块文件以及所述校验信息，将所述至少一个块文件上传到文件管理系统中，并记录每一个块文件的存储信息；

读取所述文件管理系统中中的每一个块文件的效验信息、每个块文件和每个块文件的校验信息、每一个块文件的存储信息保存到结构化数据文件中，形成验证文件，并上传到至目标服务器。

可选的，所述对目标大据进行预处理，包括：

对目标大数据的处理包括：包括计算文件的大小，计算待分割的文件块数，每个块文件的数据偏移量，块文件接合处关节节点的节点数和节点偏移量，将大文件分割成多个块文件，每个块文件编有相应的序号；从而形成分割信息。

可选的，所述对目标大据进行预处理，得到至少一个块文件，并对所述至少一个块文件进行验证，得到每一个块文件的校验信息，包括：

对目标大据进行预处理，得到至少一个块文件，并对所述至少一个块文件进行获取哈希值，得到每一个块文件的哈希值。

根据权利要求3所述的大数据的校验方法，其特征在于，所述记录每一个块文件的存储信息，包括：

根据每一个块文件编相应的序号，记录每一个块文件的存储信息。

为解决上述技术问题，本发明实施例还提供了一种大数据的校验装置，所述装置包括：

验证模块，用于对目标大据进行预处理，得到至少一个块文件，并对所述至少一个块文件进行验证，得到每一个块文件的校验信息；

记录模块，用于根据每一个块文件以及所述校验信息，将所述至少一个块文件上传到文件管理系统中，并记录每一个块文件的存储信息；