[发明专利]一种大数据流验证方法及系统

说明书

本发明公开了一种大数据流验证方法及系统，通过在传统Merkle树上引入了陷门哈希函数和BLS签名，构建一种能够根据数据流规模变化而自适应拓展的可认证树，实现了对大数据流的边读边写边验证，并基于双线性映射构造同态验证方案解决了第三方审计带来的隐私泄露问题。与此同时，可认证树自适应的特点不仅可根据到达的数据量动态拓展自身的结构，还克服了以往可认证树的单点故障问题，增强了可认证树完整性验证的健壮性和稳固性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种大数据流验证方法及系统。

背景技术

随着大数据、5G时代、智慧城市的等概念的出现，网络上出现了大量连续的、快速产生的、不可预测的大数据流，如：视频监控产生的视频流、无线传感器网络、股票交易流、5G网络数据流等等。这些连续、快速到达的大数据流使人们获得高连续、高时效、高信息量的数据成为可能。在目前产生大数据流的大多数应用中，由于终端资源和计算能力受限这些大数据流通常需要实时上传至云平台，由云平台进行管理并为用户提供服务。然而由于云平台的开放性和不可信性，为云平台下大数据流的真实性问题带来了安全隐患，能否在不影响大数据流连续性、实时性和不可预测性等特征的条件下，确保云平台下大数据流的可验证性成为信息安全领域和新兴技术深入发展需要亟待解决的问题。

目前对数据的完整性验证技术已取得了许多研究成果，包括数字签名技术、消息认证码以及可认证数据结构等。其中可认证数据结构是在认证字典基础上发展起来的一种新型分布式计算模型，能够很好的解决分布式环境下的三方数据认证问题，即可以在第三方服务平台不可信的情况下，保证第三方服务平台提供的数据和数据源是一致的。凭借此特性，可认证数据结构目前被广泛用于解决云平台下数据完整性验证、数据持有性证明(Provable Data Possession，PDP)以及数据可检索证明(Proof of Retrievability，POR)等问题。

然而，大数据流的独有特性为可认证数据结构的研究提出了新的问题与挑战：(1)大数据流往往具有较高的实时性同时是持续增长和动态变化的，如何实现对大数据流的即来即验证而无需提前保存整个数据流后再进行验证；(2)大数据流的规模是不可预测性，如何确定可认证数据结构的规模，可认证数据结构的规模能否无限扩展而无需提前固定；(3)大数据流是连续不断的，如何灵活设置验证点或设置多个验证点，防止单验证点失效带来的无法验证等问题；(4)云平台下第三方审计时，如何在不泄露隐私的情况下实现对大数据流的完整性审计等等。

发明内容

有鉴于此，本发明提供了一种大数据流验证方法及系统，能够为大数据流的安全共享和隐私保护提供技术支撑。

本发明提供了一种大数据流验证方法，包括：

生成陷门密钥对和签名密钥对，并初始化相关参数，公开发布公钥信息；

数据源在获取到数据后生成认证树的结构更新信息；

云存储服务器基于所述结构更新信息确定对应的插入位置，并从所述插入位置自下而上更新对应的路径节点，以完成认证数据结构的更新；

云存储服务器在接收到访问者发起的质询信息后，生成对应数据的证据信息；

数据验证者基于接收到的所述证据信息对数据的完整性进行验证。

优选地，所述生成陷门密钥对和签名密钥对，并初始化相关参数，公开发布公钥信息，包括：

调用陷门哈希的密钥生成算法生成陷门密钥和哈希密钥；

产生BLS签名密钥对；

初始化当前的插入叶子节点的序号、认证树的容量参数、初始化认证树的状态。

优选地，所述数据源在获取到数据后生成认证树的结构更新信息，包括：

获取当前认证树的规模值和已添加的叶子节点的数目；