[发明专利]用于分布式系统的数据处理方法及装置有效
| 申请号： | 201210429531.3 | 申请日： | 2012-10-31 |
| 公开（公告）号： | CN103793425B | 公开（公告）日： | 2017-07-14 |
| 发明（设计）人： | 陈冠诚;李严;李欣;滕启明;李剑 | 申请（专利权）人： | 国际商业机器公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京市金杜律师事务所11256 | 代理人： | 酆迅 |
| 地址： | 美国纽*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及用于分布式系统的数据处理方法及装置。在一个实施例中，该技术方案包括响应于写入数据文件的请求，在所述多个从存储节点上存储所述数据文件的多个副本，每个所述副本划分为大小相同的数据块，其中至少两个副本所划分出的数据块大小不同；存储所述多个副本的分布信息。采用本申请的技术方案，可以在分布式系统中存储数据文件的多个备份时，能够综合以不同的数据块大小进行存储所带来的优势。 | ||
| 搜索关键词： | 用于 分布式 系统 数据处理 方法 装置 | ||
【主权项】：
一种用于分布式系统的数据处理方法，该分布式系统包括一个主存储节点以及多个从存储节点，所述方法包括：响应于写入数据文件的请求，在所述多个从存储节点上存储所述数据文件的多个副本，每个所述副本划分为大小相同的数据块，其中至少两个副本所划分出的数据块大小不同；存储所述多个副本的分布信息,其中，所述分布式系统还包括一个主计算节点以及多个从计算节点，所述方法还包括：获取包含可用计算单元数量以及所述多个副本的分布信息的运行时信息，所述计算单元是所述从计算节点所包括的可分配的计算资源；响应于读取数据文件的请求，根据所述运行时信息确定副本读取策略，所述根据所述运行时信息确定所述副本读取策略包括：确定出最大程度利用所述可用计算单元的副本集合；根据每个副本的数据块大小以及副本的获取成本确定所述副本集合中每个副本的特征值；根据所述特征值确定要读取的副本。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国际商业机器公司，未经国际商业机器公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201210429531.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种帐表数据的查询和处理方法
- 下一篇：远端动态数据的处理与验证方法和系统
