[发明专利]一种分布式存储IO卸载方法、系统、设备和存储介质

说明书

本发明提出了一种分布式存储IO卸载方法、系统、设备和存储介质，该方法包括接收复制请求之后进行IO切片处理；根据分布式存储实现方式进行资源协调；如果实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；如果实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。基于该方法，还提出了一种分布式存储IO卸载系统、设备和存储介质。本发明使得分布式存储复制内部进行IO分流和卸载，减少了分布式存储资源损耗和网络转发，达到更好的卸载存储流量。

技术领域

本发明属于分布式存储技术领域，特别涉及一种分布式存储IO卸载方法、系统、设备和存储介质。

背景技术

在信息爆炸增长的时代，CPU发展遇到瓶颈，摩尔定律在CPU的发展中逐步失效，因此如何提高单机性能提上议题：其中一个方式就是通过旁路卸载，减少耗时应用对CPU的使用，让CPU只关注计算，提高CPU的利用率；因此提出网络卸载和存储卸载。海量数据的增长，传统存储成本高，效率低下无法满足用户数据的增长速度，高效智能的分布式存储技术解决这一痛楚；分布式存储具有以下几个特征：高性能、高可靠性、高可扩展性、透明性、自治性。分布式存储数据存放首先要进行分片切割处理，之后通过一定算法或者是元数据服务，计算或查找出数据存放位置，由于用户数据被分为多个数据块，因此任何一个数据块丢失都可以造成数据不可用，因此分布式存储必须考虑合理的冗余存储模型，为用户的数据分块提供多个冗余的存储副本，从而保证数据的安全性和可靠性，同时提供了海量数据存储，降低存储成本，因此分布式存储需要支持硬件卸载指令，通过分布式存储进行IO卸载，提高CPU利用率，同时提高分布式存储性能；因为分布式存储的数据离散性，因此导致支持xcopy协议时候会导致分布式存储内部CPU和内存使用率较高，因此需要一种合理的方案，降低分布式存储内部IO流转时候的资源损耗，尽量将资源做到内部流转，避免浪费网络资源、CPU资源和内存资源。

传统实现方式为收到请求之后再该节点上读取源卷的数据内容，之后根据目的卷的副本位置进行数据转发，之后等待所有的数据完成下发之后完成xcopy。

发明内容

为了解决上述技术问题，本发明提出了一种分布式存储IO卸载方法、系统、设备和存储介质。本发明使得分布式存储xcopy内部进行IO分流和卸载，减少了分布式存储资源损耗和网络转发，更容易的发挥出硬件的性能，提高分布式存储xcopy的性能，达到更好的卸载存储流量。

为实现上述目的，本发明采用以下技术方案：

一种分布式存储IO卸载方法，包括以下步骤：

接收复制请求之后通过分布式存储进行IO切片处理；

根据分布式存储实现方式进行资源协调；如果分布式存储实现方式为带有元数据管理的的分布式存储，使源卷obj文件的位置和目的卷obj文件的位置位于相同节点上，并下发内部数据拷贝；如果分布式存储实现方式为没有带有元数据的分布式存储，计算源卷的切片所有副本的位置和目的卷的切片所有副本的位置；使源卷的切片所有副本和目的卷的切片所有副本均在本地处理。

进一步的，所述接收复制请求之后通过分布式存储进行IO切片处理具体包括：修改分布式存储对SCSI协议xcopy支持，收到xcopy请求之后通过分布式存储实现切片大小进行切片处理。

进一步的，在所述分布式存储实现方式为带有元数据管理的的分布式存储时，如果一个节点中无法容纳目的卷的obj文件，则发送读写请求到源卷所在的主机，在所述源卷所在的主机内部进行读取操作，之后进行网络转发写入目的卷所在的主机中。

进一步的，所述如果没有带有元数据的分布式存储收到xcopy请求时，首先通过一致性算法计算出源卷的切片所有副本的位置和目的卷的切片所有副本的位置。