[发明专利]一种数据落盘定位的方法、装置和计算机可读存储介质在审

专利信息
申请号: 201810628789.3 申请日: 2018-06-19
公开(公告)号: CN108845769A 公开(公告)日: 2018-11-20
发明(设计)人: 翟亚永;白学余;海鑫 申请(专利权)人: 郑州云海信息技术有限公司
主分类号: G06F3/06 分类号: G06F3/06
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 罗满
地址: 450018 河南省郑州市*** 国省代码: 河南;41
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 目标数据 数据片 落盘 计算机可读存储介质 获取目标 信息检索 目标数据存储 处理方式 映射关系 预先建立 存储 查询
【说明书】:

发明实施例公开了一种数据落盘定位的方法、装置和计算机可读存储介质,依据目标数据存储时对应的规则,确定出目标数据所对应的所有分片名称;其中,目标数据包括多个数据片,每个数据片有其对应的一个分片名称;以这多个数据片中的任意一个数据片即目标数据片为例,当确定出目标数据片对应的分片名称时,查询分片名称和OSD的映射关系,以获取目标数据片对应的目标OSD编号;在预先建立的信息检索表中存储有每个OSD编号所对应的位置信息。依据该信息检索表,获取目标OSD编号对应的位置信息。依据目标数据片的处理方式,可以确定出目标数据中每个数据片所对应的落盘位置,以实现对目标数据的落盘定位。

技术领域

本发明涉及分布式集群技术领域,特别是涉及一种数据落盘定位的方法、装置和计算机可读存储介质。

背景技术

分布式对象存储系统中,数据采用分布式存储的概念,依据建立的分片规则和命名规则将数据随机分布在多块数据存储设备(Object Store Device,OSD)上。

其中,分片规则是指将一个完整的数据划分成多个数据片的形式。命名规则是指对每个数据片赋予相应的分片名称。对于数据量较大的数据,可能会对数据执行两次分片处理,第一次分片处理是在数据上传阶段,将数据划分成几个数据段,此时可以将第一次分片处理看作是对数据的分段处理。第二次分片处理是在数据存储阶段,将每个数据段再划分成相应的多个数据片,数据最终以数据片的形式存储。

存储数据时每个数据片有其对应的分片名称,但是分片规则和命名规则属于数据存储时底层运行的程序,用户无法直接获知每个数据片对应的分片名称。也即对于用户而言,数据随机分布在多块OSD上,这样导致无法判断出对象数据的准确落盘位置。尤其是数据安全要求日益严谨的趋势下,存储系统都添加了数据冗余机制,这就导致数据会随机分布在更多的OSD上,这样更难判断出数据的落盘位置。

可见,如何确定出数据的落盘位置,是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种数据落盘定位的方法、装置和计算机可读存储介质,可以确定出数据的落盘位置。

为解决上述技术问题,本发明实施例提供一种数据落盘定位的方法,包括:

依据目标数据存储时对应的规则,确定出所述目标数据所对应的所有分片名称;其中,所述目标数据包括多个数据片,每个数据片有其对应的一个分片名称;

查询分片名称和OSD的映射关系,以获取目标数据片对应的目标OSD编号;其中,所述目标数据片为所述目标数据中包括的多个数据片中的任意一个数据片;

依据预先建立的信息检索表,获取所述目标OSD编号对应的位置信息。

可选的,所述依据目标数据存储时对应的规则,确定出所述目标数据所对应的所有分片名称包括:

判断所述目标数据是否进行了分段处理;

若是,则依据第一分片规则,计算出所述目标数据的第一分片个数;并依据所述第一分片个数以及与所述第一分片规则相对应的第一命名规则,确定出所述目标数据所对应的所有分片名称;

若否,则依据第二分片规则,计算出所述目标数据的第二分片个数;并依据所述第二分片个数以及与所述第二分片规则相对应的第二命名规则,确定出所述目标数据所对应的所有分片名称。

可选的,还包括:

将所述目标数据以及其所对应的位置信息存储于预先设置的存储空间。

可选的,还包括:

判断所述存储空间的空间利用率是否达到上限值;

若是,则将所述存储空间中存储时间最长的数据删除。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810628789.3/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top