[发明专利]分布式文件系统中的数据写入方法和装置在审
申请号: | 201510740419.5 | 申请日: | 2015-11-03 |
公开(公告)号: | CN106649401A | 公开(公告)日: | 2017-05-10 |
发明(设计)人: | 董乘宇;朱家稷;张海勇;曹锋;王勇;姚文辉;吴均平;吴洋;董元元;吴冬政;陆靖 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京润泽恒知识产权代理有限公司11319 | 代理人: | 苏培华 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 文件系统 中的 数据 写入 方法 装置 | ||
1.一种分布式文件系统中的数据写入方法,其特征在于,包括:
在元数据服务器所管理的多个副本服务器中,根据所述多个副本服务器的剩余容量选择至少一个目标副本服务器;
在所述目标副本服务器中,根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载选择写入磁盘;
通过所述目标副本服务器将写入数据存储在所述写入磁盘中。
2.根据权利要求1所述的方法,其特征在于,在所述目标副本服务器中,根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载选择写入磁盘的步骤包括:
根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载计算各磁盘被选中的概率;
根据所述各磁盘被选中的概率及预设条件确定所述写入磁盘。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载计算各磁盘被选中的概率,包括:
根据所述磁盘的剩余容量和总容量之间的比例及其权重,以及所述磁盘的负载及其权重,计算所述磁盘的得分;
对各所述磁盘的得分进行归一化,获得各所述磁盘被选中的概率。
4.根据权利要求3所述的方法,其特征在于,所述根据所述磁盘的剩余容量和总容量之间的比例及其权重,以及所述磁盘的负载及其权重,计算所述磁盘的得分,包括:
分别计算所述磁盘的剩余容量和总容量之间的比例的得分,以及所述磁盘的负载的得分,其中,所述比例的得分与所述比例之间以及所述负载的得分与所述负载之间均满足单调递增函数关系;
根据所述比例的得分及所述比例的权重,以及所述负载的得分及所述负载的权重,计算所述磁盘的得分。
5.根据权利要求3所述的方法,其特征在于,所述磁盘的负载为所述磁盘IO队列的长度。
6.根据权利要求2至5中任意一项所述的方法,其特征在于,所述根据所述各磁盘被选中的概率及预设条件确定所述写入磁盘,包括:
根据所述各磁盘被选中的概率计算所述各磁盘的累加概率值;
对所述各磁盘的累加概率值进行二分查找,将查找到的满足预设条件的磁盘的累加概率值对应的磁盘作为所述写入磁盘。
7.一种分布式文件系统中的数据写入装置,其特征在于,包括:
第一选择单元,被配置为在元数据服务器所管理的多个副本服务器中,根据所述多个副本服务器的剩余容量选择至少一个目标副本服务器;
第二选择单元,被配置为在所述目标副本服务器中,根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载选择写入磁盘;
存储单元,被配置为通过所述目标副本服务器将写入数据存储在所述写入磁盘中。
8.根据权利要求7所述的装置,其特征在于,所述第二选择单元包括:
概率计算子单元,被配置为根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载计算各磁盘被选中的概率;
确定子单元,被配置为根据所述各磁盘被选中的概率及预设条件确定所述写入磁盘。
9.根据权利要求8所述的装置,其特征在于,所述概率计算子单元包括:
得分计算子单元,被配置为根据所述磁盘的剩余容量和总容量之间的比例及其权重,以及所述磁盘的负载及其权重,计算所述磁盘的得分;
概率获得子单元,被配置为对各所述磁盘的得分进行归一化,获得各所述磁盘被选中的概率。
10.根据权利要求9所述的装置,其特征在于,所述得分计算子单元包括:
第一计算子单元,被配置为分别计算所述磁盘的剩余容量和总容量之间的比例的得分,以及所述磁盘的负载的得分,其中,所述比例的得分与所述比例之间以及所述负载的得分与所述负载之间均满足单调递增函数关系;
第二计算子单元,被配置为根据所述比例的得分及所述比例的权重,以及所述负载的得分及所述负载的权重,计算所述磁盘的得分。
11.根据权利要求8所述的装置,其特征在于,所述磁盘的负载为所述磁盘IO队列的长度。
12.根据权利要求8至11中任意一项所述的装置,其特征在于,所述确定子单元包括:
累加子单元,被配置为根据所述各磁盘被选中的概率计算所述各磁盘的累加概率值;
查找子单元,被配置为对所述各磁盘的累加概率值进行二分查找,将查找到的满足预设条件的磁盘的累加概率值对应的磁盘作为所述写入磁盘。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510740419.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置