[发明专利]一种基于区块链依据数据重要性分类存储系统及方法有效
| 申请号: | 201910521926.8 | 申请日: | 2019-06-17 |
| 公开(公告)号: | CN110209742B | 公开(公告)日: | 2021-07-27 |
| 发明(设计)人: | 于辉;刘善武;李进;刘文敏;唐坤 | 申请(专利权)人: | 国家计算机网络与信息安全管理中心 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/28;G06F16/951;G06F11/14 |
| 代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 郗艳荣 |
| 地址: | 100029*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 区块 依据 数据 重要性 分类 存储系统 方法 | ||
1.一种基于区块链依据数据重要性分类存储系统,其特征在于:包括元数据爬虫模块,数据重要性判定模块,数据重复性判定模块,数据存储路由信息模块,SQL Server数据库集群和区块链存储模块;所述元数据爬虫模块通过数据重要性判定模块连接到数据存储路由信息模块,用户输入的数据存储需求,包括待存储资源Q,经数据重复性判定模块接入数据存储路由信息模块,待存储资源Q经数据存储路由信息模块接入SQL Server数据库集群和区块链存储模块,由SQL Server数据库集群存储非重要性数据,区块链存储模块存储重要性数据;
所述SQL Server数据库集群包括SQL Server存储集群管理模块和SQL Server存储节点,SQL Server存储集群管理模块对非重要性数据在SQL Server存储节点的存储行为进行管理,同时监测和管理SQL Server存储节点状态;
所述数据存储路由信息模块还连接有数据存储路由信息备份模块,同时所述数据存储路由信息模块通过智能合约模块连接到区块链存储模块;所述智能合约模块自动调用重要性数据,计算在区块链存储模块中的具体存储位置;
所述元数据爬虫模块用于根据配置的数据爬取源针对资源Q的种类爬取该类资源领域内的关键数据和重要数据来源;所述数据重要性判定模块用于计算资源Q的重要性数值IMP,并根据资源Q的重要性数值IMP与用户预设的数据重要性标准数值QUA进行比较,如果计算得到的资源Q的重要性数值IMP大于数据重要性标准数值QUA,则判定资源Q为重要性数据,否则为非重要性数据;所述数据存储路由信息模块用于存储数据存储的路由信息记录,相当于索引记录信息;数据存储路由信息备份模块用于对数据存储的路由信息记录进行备份存储,与数据存储路由信息模块组成主备模式;当数据存储路由信息模块出现故障影响整体功能时,数据存储路由信息备份模块主动将业务切换至其上运行,实现与数据存储路由信息模块同样的数据存取路由检索功能,以提高系统健壮性;所述数据重复性判定模块用于根据数据存储需求和数据存储路由信息模块的存储信息记录进行比较,判断资源Q是否为重复性数据,若是,则放弃此次存储;
所述资源Q的重要性数值IMP的计算公式如下:
其中,λ为大于0小于1的修正因子,M为资源Q关联的重要数据来源个数,M总为系统配置的重要数据来源总数,N为资源Q被引用的次数,N总为与资源Q关联的重要数据来源中所有资源被引用的次数,L为资源Q被检索的次数,L总为与资源Q关联的重要数据来源中所有资源被检索的次数;W为SQL Server数据库集群和区块链存储模块中已有的引用资源Q的资源数目,W总为SQL Server数据库集群和区块链存储模块中已有的资源总数。
2.根据权利要求1所述的基于区块链依据数据重要性分类存储系统,其特征在于:所述数据爬取源由用户自主更新和设置,包括搜索引擎和论文学术期刊网站。
3.根据权利要求1或2所述的基于区块链依据数据重要性分类存储系统的存储方法,其特征在于:在数据存储时对数据重复性和数据重要性进行判断,避免重复存储,并根据重要性判断结果调用智能合约模块采用区块链技术对重要性数据进行存储,采用SQL Server数据库集群对非重要性数据进行数据库存储,从而实现对重要性数据和非重要性数据的分开存储,提高对重要数据的存储效率和存储设备的资源利用率,利用区块链公开、透明及不可删除的特点,实现对海量数据资源池中重点数据的高效存取,提高存储资源的存储和设备利用率。
4.根据权利要求3所述的基于区块链依据数据重要性分类存储系统的存储方法,其特征在于,包括以下步骤:
(1)用户输入数据存储需求后,先由数据重复性判定模块检索数据存储路由信息模块中是否已经有重复的数据信息,若有,则放弃此次数据存储需求;
(2)经数据重复性判定模块判定为非重复数据的数据存储需求接入到数据存储路由信息模块,数据存储路由信息模块将待存储数据发送到数据重要性判定模块,计算重要性数值IMP,并根据重要性数值IMP与用户预设的数据重要性标准数值QUA进行比较,如果计算得到的重要性数值IMP大于数据重要性标准数值QUA,则判定为重要性数据,否则为非重要性数据;
(3)数据重要性判定模块将判断结果返回数据存储路由信息模块,智能合约模块自动调用重要性数据,将其存储到区块链存储模块中,非重要性数据则发送到SQL Server数据库集群进行存储;
(4)数据存储路由信息模块存储数据存储的路由信息记录,以备调用,同时数据存储路由信息备份模块对数据存储的路由信息记录进行备份存储。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家计算机网络与信息安全管理中心,未经国家计算机网络与信息安全管理中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910521926.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:异构数据源间的数据同步方法、装置和设备
- 下一篇:知识管理系统及方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





