[发明专利]一种政务大数据的可靠储存方法及装置

说明书

本发明公开了一种政务大数据的可靠储存方法及装置，首先政务大数据转换为二维码图片数据，然后将二维码图片数据分割并存储在不同的存储服务器节点中并生成作为索引的文件分割编号文件，需要读取时按照文件分割编号文件依次读取各个部分的二维码分割数据并合成原政务大数据，可有效的对抗网络爬虫等现代自动化工具攻击技术，大幅提升分布式存储的存储安全性与可靠性。

技术领域

本公开涉及大数据信息安全领域，具体涉及一种政务大数据的可靠储存方法及装置。

背景技术

政务大数据广泛分布在教育、企业管理、社保、民政、安全等多个方向的领域，政务大数据的数量大，且多源异构、隐私性与机密性强、附加价值高。政务大数据泄漏带来的安全问题引发的负面影响却无法言尽，第一，数据非法利用，政务网站风险加剧，数据被爬取后所引发的安全风险正愈演愈烈。第二，运维困难、投诉不断，陷入恶性循环。

此外，自动化工具攻击并不是一成不变的，爬虫等技术也在不断发展，手段越来越“高明”。它们不再是简单的脚本或程序，而是在一定程度上能模拟人的行为或浏览器行为。因此依赖签名与规则等的传统安全防御技术，已经无法抵御新兴的安全威胁技术手段，尤其是在政务大数据的存储技术领域。专利CN201310706629.3提到了一种利用二维码进行大数据量传输的方法，能够对于安全传输的过程中自动化攻击起有效防范作用，但是该方法存储在同一个数据库中，很容易被网络爬虫爬取并破解，存储方法并不可靠。

发明内容

为解决上述问题，本公开提供一种政务大数据的可靠储存方法及装置，首先政务大数据转换为二维码图片数据，然后将二维码图片数据分割并存储在不同的存储服务器节点中并生成作为索引的文件分割编号文件，需要读取时按照文件分割编号文件依次读取各个部分的二维码分割数据并合成原政务大数据，可有效的对抗网络爬虫等现代自动化工具攻击技术。

为了实现上述目的，根据本公开的一方面，提供一种政务大数据的可靠储存方法，所述方法包括以下步骤：

政务大数据分布式存储：

步骤1，将政务大数据转换成二维码图片数据；

步骤2，将二维码图片数据分割成N个子数据；

步骤3，将N个子数据分别存储在云存储服务器的N个存储节点中；

步骤4，生成分割编号文件；

步骤5，将分割编号文件存储在云存储服务器的任意一个存储节点中；

政务大数据读取与合成：

步骤6，读取分割编号文件；

步骤7，按照分割编号文件依次在各个存储节点中读取N个子数据；

步骤8，将N个子数据合并还原为二维码图片；

步骤9，将二维码图片数据还原为政务大数据；

其中，所述云存储服务器包括M个存储节点，M≥N+1，N、M为正整数。

进一步地，在步骤1中，所述将政务大数据转换成二维码形式的图片数据方法的步骤为：

步骤1.1，将政务大数据按照标准二维码编码规则进行编码；

步骤1.2，将编码生成二维码矩阵；

步骤1.3，将二维码矩阵渲染成二维码图片数据。

进一步地，在步骤2中，将二维码图片数据分割成N个子数据的方法为：将二维码图片数据量的大小P除以N得到L，如果没有余数R则生成N个等量的大小为L的子数据，如果有余数R则生成N-1个大小为L的子数据和1个大小为L+R的子数据。