[发明专利]一种基于Ceph分布式存储Osd端数据Recovery的QoS控制方法

说明书

一种基于Ceph分布式存储Osd端数据Recovery的QoS控制方法，主要在分布式存储Osd服务端添加QoS机制，按照字节流方法进行控制，通过在每个Osd端设置令牌桶，令牌的最大数量是Osd服务端最大的限流大小，每次数据进行均衡时候，判断令牌数量是否足够，如果足够，那么就开始下发请求IO，如果令牌数量不足，那么等待后台进程往令牌桶中下发令牌，当令牌充足开始下发等待IO请求。通过控制后台进程下发令牌的速率，就可以达到精准控制数据流的目的，同时由于QoS具备应对突发IO的效果，使得数据均衡过程中更贴近用户场景控制数据流的场景。

技术领域

本发明属于分布式存储领域，具体涉及一种基于Ceph分布式存储Osd端数据Recovery的QoS控制方法。

背景技术

传统的存储系统采用集中式的服务器存储方法，提高单个大型机的性能、容量、网络等途径，进行改善当下日益增长的数据需求，但由于传统的存储系统只能局限于单台大型计算机、以及数据存储在单台服务器的弊端，一方面，存储的性能受限于服务器成为瓶颈，另一方面，数据的可靠性和安全性受到严峻的考验。分布式存储的诞生极大地改善和突破了传统存储系统的瓶颈，它把许多服务器资源统一整合、甚至跨多个数据中心，并且数据的存储采用hash和CRUSH算法按照一定规则进行打散存放在多台服务器上，在提升数据存储性能的同时，数据以副本的形式存在，当灾难发生，通过恢复副本方法，有效的提高了数据的安全可靠性。Ceph分布式存储消除了对单一中心节点的依赖，真正实现了无中心结构的一个分布式存储系统，这是其它的分布式存储系统所不能比的。

Ceph分布式存储的Recovery机制是当存储集群发生存储Osd服务down或者新加入Osd服务时候，数据进行的一种自均衡机制，目前Ceph使用较为经典的是副本策略，通过该自均衡机制，可以让数据重新的在当前所有Osd上形成最大副本数，确保数据的高可靠和安全性。目前，数据的Recovery主要采用控制一个Osd的pg每秒能够做多少objects的recovery，但由于每个object中数据量多少是不确定的，导致当下存储系统无法精确地控制数据recovery时候的每秒的传输带宽量。这很容易影响到业务IO的处理速度。本发明主要针对在数据recovery时候，在Osd服务端，添加QoS控制机制，确保可以更精确地控制recovery每秒传输的带宽量，从而有效的控制对业务IO的影响。

QoS（Quality of Service）是一种控制机制，可以控制数据流的速率，对数据流进行整形，保证每秒传输数据量控制在一定阈值，从而使得业务IO在可控范围，确保recovery过程中业务的稳定可靠运行。QoS在存储领域主要分为两种，一种是限制IOPS，即限制每秒传输多少个IO，这主要在高IO并发控制中起到限流作用；一种是限制带宽，即限制每秒传输多少字节，主要应用于吞吐量的限制。本发明主要针对带宽的限制，即在限制数据recovery的每秒传输字节，实现数据均衡过程中，对前端业务影响可控目的。

发明内容

本发明针对现有技术中的不足，提供一种基于Ceph分布式存储Osd端数据Recovery的QoS控制方法，为分布式存储系统Ceph提供一种数据均衡（recovery/rebalance）过程中QoS限流，从而减小对业务IO影响的方法。

分布式存储系统Ceph具有统一整理网络、存储、计算资源的能力，同时由于Ceph分布式存储天生的无中心化以及Hash和Crush算法，使得数据的存储可以多点分布在不同的服务器存储设备上，多个管理monitor节点也可以相互校验、同步数据，从而单台服务器或副本内多块磁盘损坏，可以保证系统正常使用，数据不会丢失的效果。但该机制的弊端是Ceph集群发生变化如新增Osd（object storage device）节点或某Osd节点宕掉，Ceph为保护数据安全和副本存储进行的数据迁移等一系列操作，会产生大量的recovery和backfill等IO请求。当进行这些IO的均衡过程中，会根据均衡数据量大小对前端业务造成不同程度的影响。