[发明专利]磁盘容错方法、装置及系统有效
| 申请号: | 201310027284.9 | 申请日: | 2013-01-22 |
| 公开(公告)号: | CN103942112B | 公开(公告)日: | 2018-06-15 |
| 发明(设计)人: | 娄继冰 | 申请(专利权)人: | 深圳市腾讯计算机系统有限公司 |
| 主分类号: | G06F11/07 | 分类号: | G06F11/07;G06F3/06 |
| 代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 江崇玉 |
| 地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 访问文件 磁盘 装置及系统 数据块 分布式存储系统 磁盘利用率 单节点故障 计算机领域 数据可靠性 磁盘存储 磁盘故障 存储技术 读写性能 获取文件 数据读写 双机双 场景 失败 访问 保证 | ||
本发明公开了一种磁盘容错方法、装置及系统,属于计算机领域。所述方法包括:接收访问文件请求;获取文件对应的多个节点列表,每个节点列表包括至少两个节点,每个节点中包括的相互对应的磁盘存储相同的内容;从获取的每个节点列表中分别选择一个节点中访问文件包括的数据块;当从某个节点中访问失败,则在节点所在的节点列表中选择其他的一个节点,根据文件的标识从选择的节点中访问文件包括的数据块。本发明通过结合双机双工的优势提出结对存储技术,将完全独立的多台机器从节点到磁盘进行对等互备,解决了大规模分布式存储系统中的数据读写故障、磁盘故障及单节点故障等问题,保证在任何场景下的数据可靠性,提高了磁盘利用率及读写性能。
技术领域
本发明涉及计算机领域,特别涉及一种磁盘容错方法、装置及系统。
背景技术
磁盘容错是指当磁盘系统出现数据、文件损坏或丢失时,磁盘系统能够自动将这些损坏或丢失的文件和数据恢复到发生事故之前的状态,使系统能够连续正常运行的技术。
现有技术中,磁盘容错一般采用RAID,其利用多块磁盘并通过某种校验机制来确保数据可靠性,按照实现方式和容错性能不同分为0-7多种类型,其中最出名的为RAID1和RAID5。现有技术一,RAID1将两块磁盘互为主从备份,数据写入时同时写入到两块磁盘,数据访问时候首先从主磁盘访问,访问失败后,再从备份磁盘访问。这种技术实现简单,提供很高数据可用性,而且磁盘主磁盘离线后,可以直接从备份磁盘恢复,不会影响性能。现有技术二,RAID5将磁盘和数据条带化,数据读写同时对多个磁盘进行,并且奇偶检验块离散分布于各个磁盘中,只要有一块磁盘损坏,可以根据其他磁盘的信息进行恢复。这种技术对于N块盘的阵列而言,磁盘空间利用率能到达(N-1)/N。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
对于RAID1,由于两块磁盘同一时刻只有一块磁盘提供服务,磁盘利用率只有50%。而RAID5写性能非常差,每次写入需要首先访问旧数据、旧奇偶校验数据,然后写入新数据、生成奇偶校验数据并写入,而且实现复杂性比较高,RAID控制器、RAID元数据信息问题可能成为整个系统的瓶颈,并且对多块磁盘同时存储、机器掉电、宕机等系统故障无能为力。
发明内容
为了提高磁盘利用率及读写性能,本发明实施例提供了一种磁盘容错方法、装置及系统。所述技术方案如下:
一方面,提供了一种磁盘容错方法,所述方法包括:
接收访问文件请求,所述访问文件请求中携带文件的标识;
根据预存的文件的标识与节点列表的对应关系和所述文件的标识,获取所述文件对应的多个节点列表,所述节点列表包括多个节点,每个节点包括多个磁盘,所述每个节点包括的磁盘一一对应,在所述每个节点中相互对应的磁盘存储相同的内容;
从所述获取的每个节点列表中分别选择一个节点,根据所述文件的标识从所述每个节点列表选择的一个节点中访问所述文件包括的数据块;
当从某个节点中访问失败,则在所述节点所在的节点列表中选择其他的一个节点,根据所述文件的标识从所述选择的节点中访问所述文件包括的数据块。
另一方面,本发明提供了一种磁盘容错装置,所述装置包括:
接收模块,用于接收访问文件请求,所述访问文件请求中携带文件的标识;
第一获取模块,用于根据预存的文件的标识与节点列表的对应关系和所述文件的标识,获取所述文件对应的多个节点列表,所述节点列表包括多个节点,每个节点包括多个磁盘,所述每个节点包括的磁盘一一对应,在所述每个节点中相互对应的磁盘存储相同的内容;
访问模块,用于从所述获取的每个节点列表中分别选择一个节点,根据所述文件的标识从所述每个节点列表选择的一个节点中访问所述文件包括的数据块;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310027284.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:烘干电熔锆用回转式烘干机
- 下一篇:一种复位灯装配装置





