[发明专利]一种分布式存储IO卸载方法、系统、设备和存储介质有效
| 申请号: | 202111680516.1 | 申请日: | 2021-12-30 |
| 公开(公告)号: | CN114356239B | 公开(公告)日: | 2023-08-29 |
| 发明(设计)人: | 马怀旭 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
| 主分类号: | G06F3/06 | 分类号: | G06F3/06 |
| 代理公司: | 济南诚智商标专利事务所有限公司 37105 | 代理人: | 朱晓熹 |
| 地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 分布式 存储 io 卸载 方法 系统 设备 介质 | ||
1.一种分布式存储IO卸载方法,其特征在于,包括以下步骤:
接收复制请求之后通过分布式存储进行IO切片处理;具体包括:修改分布式存储对SCSI协议xcopy支持,收到xcopy请求之后通过分布式存储实现切片大小进行切片处理;
根据分布式存储实现方式进行资源协调;如果分布式存储实现方式为带有元数据管理的的分布式存储,使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上,并下发内部数据拷贝;如果分布式存储实现方式为没有带有元数据的分布式存储,计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置;使源卷的切片所有副本和目的卷的切片所有副本均在本地处理;
所述如果没有带有元数据的分布式存储收到xcopy请求时,首先通过一致性算法计算出源卷的切片所有副本的位置和目的卷的切片所有副本的位置;
所述计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置;使源卷的切片所有副本和目的卷的切片所有副本均在本地处理具体包括:
如果源卷的切片所有副本和目的卷的切片所有副本均位于同一主机,在主机内发送内部读写请求,在主机内部中完成源卷数据和目的卷数据的内部拷贝;
如果源卷的切片部分副本和目的卷的切片部分副本位于同一主机,则部分副本在节点内部下发,同时通过 网络转发达到其他副本IO正常下发,达到一次读取和多次写入;
如果源卷的切片所有副本和目的卷切片的所有副本均不位于同一主机,则通过IO下发至源卷所在的存储节点上,通过源卷节点进行数据读取和网络转发,实现一次读取和多次转发;
使分布式存储xcopy内部进行IO分流和卸载,减少了分布式存储资源损耗和网络转发。
2.根据权利要求1所述的一种分布式存储IO卸载方法,其特征在于,在所述分布式存储实现方式为带有元数据管理的的分布式存储时,如果一个节点中无法容纳目的卷的obj文件,则发送读写请求到源卷所在的主机,在所述源卷所在的主机内部进行读取操作,之后进行网络转发写入目的卷所在的主机中。
3.根据权利要求1所述的一种分布式存储IO卸载方法,其特征在于,所述在一次读取和多次转发时,智能的选取IO负载低的节点进行IO读取和网络转发。
4.一种分布式存储IO卸载系统,其特征在于,包括预处理模块和资源协调模块;
所述预处理模块用于接收复制请求之后通过分布式存储进行IO切片处理;具体包括:修改分布式存储对SCSI协议xcopy支持,收到xcopy请求之后通过分布式存储实现切片大小进行切片处理;
所述资源协调模块用于根据分布式存储实现方式进行资源协调;如果分布式存储实现方式为带有元数据管理的的分布式存储,使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上,并下发内部数据拷贝;如果分布式存储实现方式为没有带有元数据的分布式存储,计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置;使源卷的切片所有副本和目的卷的切片所有副本均在本地处理;
所述如果没有带有元数据的分布式存储收到xcopy请求时,首先通过一致性算法计算出源卷的切片所有副本的位置和目的卷的切片所有副本的位置;
所述计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置;使源卷的切片所有副本和目的卷的切片所有副本均在本地处理具体包括:
如果源卷的切片所有副本和目的卷的切片所有副本均位于同一主机,在主机内发送内部读写请求,在主机内部中完成源卷数据和目的卷数据的内部拷贝;
如果源卷的切片部分副本和目的卷的切片部分副本位于同一主机,则部分副本在节点内部下发,同时通过 网络转发达到其他副本IO正常下发,达到一次读取和多次写入;
如果源卷的切片所有副本和目的卷切片的所有副本均不位于同一主机,则通过IO下发至源卷所在的存储节点上,通过源卷节点进行数据读取和网络转发,实现一次读取和多次转发;
使分布式存储xcopy内部进行IO分流和卸载,减少了分布式存储资源损耗和网络转发。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111680516.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:多维微振动模拟器
- 下一篇:一种新型防腐防水导热结构的高压变压器制造方法





