[发明专利]一种基于Hadoop平台的动态数据完整性验证方法

说明书

本发明公开一种基于Hadoop平台的动态数据完整性验证方法、1、构建系统模型；2、数据拥有者产生一对密钥，包括私钥与公钥；3、数据拥有者将文件分块，为每个文件块生成文件块标签，将公钥(g,N)、文件块标签与文件上传至Hadoop平台；数据拥有者将公钥(g,N)与文件块标签发送给审计者；4、审计者生成挑战值，并发送给Hadoop平台；5、Hadoop平台根据挑战值生成证明值，并发送给审计者；6、审计者检查证明值，并将审计报告返回给数据拥有者；7、数据拥有者远程地对Hadoop平台上的数据进行更新，步骤7结束后，跳转到步骤4，重复执行步骤4至步骤6。本发明节省了文件传输的通信开销，提高了数据完整性验证的效率。

技术领域

本发明涉及一种基于Hadoop平台的动态数据完整性验证方法，属于网络安全技术领域。

背景技术

随着大数据远程存储技术的出现和发展，如何保护远程数据的完整性成为当前大数据技术面临的重大挑战。数据完整性验证作为一种数据保护技术，能够在本地无数据备份的情况下远程地对数据进行完整性验证。Hadoop平台是当前最为通用的开源大数据平台，研究适用于Hadoop平台的远程数据完整性验证方法，有利于保护大数据安全，促进大数据技术的应用。

远程数据完整性验证在2008年被提出，此后众多学者陆续研发出许多远程数据完整性验证方案。Ateniese等人提出了第一个远程数据完整性验证方案，该方案适用于单个服务器中静态数据完整性验证，随后，他们将方案改进为可支持对追加操作的数据完整性验证。Juels等人提出了可恢复数据完整性验证方案。该方案不仅能够验证远程数据的完整性，当数据遭到损坏时还可以以一定的概率恢复数据。Erway等人提出第一个支持全动态操作的远程数据审计方案。在该方案中，用户不用下载数据，可以远程地对数据进行插入、删除、修改、追加等动态操作。Wang等人提出一个有第三方审计者的存储安全模型，第三方审计者代替数据拥有者对存储在服务器中的数据进行完整性验证，在数据完整性验证过程中，利用同态密钥随机掩码技术保证第三方审计者不能获得任何有用信息。Wang等人又提出一个数据完整性验证方案，使用Merkle哈希树来实现高效的动态数据完整性验证。针对Hadoop平台，Zhu等人提出一种协作的数据完整性验证方案来验证分布式存储中数据的完整性。通过实验证明当有多个服务器共同存储用户数据时，使用该方案，用户进行数据完整性验证所需计算量和通信量非常少。该方案实现了对Hadoop平台中静态数据的完整性验证。

在当前Hadoop平台中的远程数据完整性验证方案中，远程静态数据完整性验证被大量研究和普遍应用。但是，这些远程数据完整性验证方案存在一个主要问题：无法对Hadoop平台上的动态数据进行远程完整性验证。目前缺少Hadoop平台中动态数据完整性验证方法。

研究Hadoop平台上的动态数据完整性验证方法，着重于Hadoop平台中数据的动态操作，包括插入、追加、修改、删除，设计方案验证Hadoop平台中动态数据的完整性，并将其实施于Hadoop平台中，保证动态数据完整性验证的效率与安全性。

发明内容

本发明的技术解决问题：在动态数据完整性验证中，需要将文件分割为多个数据块，文件中的单个数据块可以在不下载整个文件的情况下进行更新。单个文件块进行更新，要求文件系统本身支持随机读写，并支持在文件的任何位置进行插入、删除、修改操作。但是Hadoop平台中的文件系统HDFS不支持随机读写，只支持文件追加操作。针对Hadoop平台现有缺陷，提供一种基于Hadoop平台的动态数据完整性验证方法，支持对插入、追加、删除、修改操作的完整性验证，以解决Hadoop平台中动态数据完整性验证的问题。

本发明采取的技术方案是：一种基于Hadoop平台的动态数据完整性验证方法，它包含以下步骤，如图1所示。