[发明专利]一种云存储系统的数据存储方法和装置在审
申请号: | 201710059584.3 | 申请日: | 2017-01-24 |
公开(公告)号: | CN108347466A | 公开(公告)日: | 2018-07-31 |
发明(设计)人: | 饶玮;周爱华;朱力鹏;胡斌;潘森;杨佩;伏如祥;陈艳;赵玉杰 | 申请(专利权)人: | 全球能源互联网研究院;国网上海市电力公司;国家电网公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京安博达知识产权代理有限公司 11271 | 代理人: | 徐国文 |
地址: | 102209 北京市昌平*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据块 集合 数据节点 物理数据 用户访问数据 分类 方法和装置 数据块集合 云存储系统 构建单元 节点性能 权重矩阵 数据存储 权重 数据存储单元 数据块存储 访问数据 关系构建 关系矩阵 物理集群 系统性能 用户服务 块信息 监控 分配 保证 | ||
本发明提供一种云存储系统的数据存储方法和装置,该方法包括用监控得到的用户访问数据块信息建立数据块集合,根据用户访问数据块间的关系构建数据块关系矩阵和数据块关系权重矩阵;根据数据块关系权重矩阵,得到数据块关系权重分类集合;从物理集群的数据节点集合,计算物理数据节点性能值,并根据物理数据节点性能值确定数据节点分类集合;根据数据块关系权重分类集合和数据节点分类集合进行物理数据节点的分配,完成数据块存储工作;该装置包括数据块集合构建单元、数据节点集合构建单元和数据存储单元。本发明提供的技术方案节省了访问数据的时间,保证用户服务,提高了系统性能。
技术领域
本发明涉及云存储技术领域,具体讲涉及一种云存储系统的数据存储方法和装置。
背景技术
随着互联网技术的飞速发展和计算机技术的不断提高,数据量呈现出爆炸性增长的趋势,网络传输和处理数据的能力飞速增长,但伴随出现了管理海量数据的困难、数据存储成本高、可靠性低等难题。现在越来越多的企业和用户开始将数据存储分离出来,向专业云存储服务供应商寻求帮助以进行数据的分布式管理,在此背景下云存储应运而生。
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量不同类型的存储设备通过应用软件集合起来进行整合协同工作,从而向外提供数据存储和业务访问功能的系统,云存储是一个以数据存储和管理为核心的云计算系统,所以云存储是一个以数据存储和管理为核心的云计算系统,简单来说,云存储就是将储存资源放到云上供人存取的一种新兴方案,云存储不仅仅是一个硬件,也是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统。云存储是云计算的存储部分,并且可以作为一种服务提供给用户,任何经过授权的合法用户都可以通过网络访问云存储,享受云存储带来的便利。云存储提供的是存储服务,存储服务通过网络将本地数据存放在存储服务提供商提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心,只需向存储服务提供商申请存储服务,从而避免了存储平台的重复建设,节约了昂贵的软硬件基础设施投资。云存储系统具有高可扩展性、低成本、无接入限制、易管理等特性,云存储用户可以随时随地的通过终端使用云存储服务商提供的服务,即设备可以在任何时间、任何地方,透过任何可连网的装置连接到云上方便地存取数据。
云存储技术目前没有充分考虑数据间的相关性,只是将数据存储在物理节点上,并且在进行存储时将数据块放置在一个随机选择的物理节点上,没有对物理节点进行计算分析,由此造成云存储资源浪费,不能为用户提供良好服务的弊端。
发明内容
为满足现有技术发展的需要,本发明提供了云存储系统的数据存储方法。
本发明提供的云存储系统的数据存储方法,所述方法包括:
根据用户访问数据块组成的数据块集合和数据块关系矩阵,构建数据块关系权重矩阵;根据数据块关系权重矩阵,计算所述数据块关系权重分类集合;
根据物理集群的数据节点集合,计算物理数据节点性能值;根据物理数据节点性能值,确定数据节点分类集合;
根据数据块关系权重分类集合和数据节点分类集合,分配物理数据节点和存储数据块。
优选的,所述数据块集合P如式所示:P={M1,M2,…,Mk},其中,Mk:数据块集合中k的数据块;k:数据集合块中数据块的序号;
所述数据块关系矩阵R如下所示:
其中,Rij:表示数据块i和数据块j的关联度;i=1,2,...;j=1,2,…。
优选的,所述数据块关系权重矩阵RW如下所示:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于全球能源互联网研究院;国网上海市电力公司;国家电网公司,未经全球能源互联网研究院;国网上海市电力公司;国家电网公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710059584.3/2.html,转载请声明来源钻瓜专利网。