[发明专利]一种智能哈希数据布局方法、集群存储系统及其方法

说明书

技术领域

本发明涉及数据存储技术领域，尤其涉及一种智能哈希数据布局方法、集群存储系统及其方法。

背景技术

云存储和大数据背景下，数据呈现爆炸式增长趋势。根据研究显示，2020年数字宇宙将达到35.2ZB，比2009年的0.8ZB猛增44倍，这其中80%以上为非结构化数据。高性能计算、医学影像、石油和天然气勘探、数字媒体和社会化WEB等大量数据密集型应用导致数据的井喷，不断对存储方法提出新的严峻挑战。集群存储是一种横向扩展（Scale-out）存储架构，具有容量和性能线性扩展的优势，已经得到全球市场的广泛认可。集群存储技术其中涉及两大关键问题，即元数据管理和数据布局，这两者直接决定着系统的扩展性、性能和可靠性等特性。

集群存储现有技术方案主要是采用专用元数据服务来管理元数据，数据布局信息也保存在元数据服务器上。集中式或分布式元数据管理存在性能瓶颈、单点故障、数据一致性等一系列相关问题，直接影响到系统性能和扩展性。数据布局方式主要采用条带(Stripe)、镜像(Mirror)、哈希(Hash)、一致性哈希(DHT)等方式，它们普通存在的问题是可扩展性不高，当集群规模扩展时大量数据需要迁移并重新分布。其中，哈希和一致性哈希还存在数据分布不均衡的问题。另外，不同数据布局方式在性能、可用性和扩展性方面有不同表现，而在特定集群存储工程实现中往往只会采用单一或两种简单组合的方式，适用的数据负载有限，降低了集群存储系统的应用范围。

集群（Cluster）是由多个节点构成的一种松散耦合的节点集合，协同起来对外提供服务。集群主要分为高性能集群HPC(High Performance Cluster)、高可用集群HAC(High Availablity Cluster)和负载均衡集群LBC(Load Balancing Cluster)。集群存储系统是指协同多个节点提供高性能、高可用或负载均衡的存储服务系统，消除单点故障和性能瓶问题，并且具有Scale-Out横向高扩展能力，实现容量和性能线性扩展。集群存储技术其中涉及两大关键问题，即元数据管理和数据布局，这两者直接决定着系统的扩展性、性能和可靠性等特性。集群存储现有技术方案主要是采用专用元数据服务来存储和管理数据布局信息，数据布局方式主要采用条带(Stripe)、镜像(Mirror)、哈希(Hash)、一致性哈希(DHT)等方式。

基于元数据服务的数据布局管理模型如图1所示，元数据服务器记录存储服务器集群信息和数据布局信息，并进行数据布局管理。该模型下，请求数据前需要向元数据服务请求数据布局信息，读数据直接返回对应的布局信息，写新数据需要为其分配布局信息，更新或追加数据可能需要修改布局信息。这些都由元数据服务处理，之后把数据布局信息返回给存储客户端。客户端获取到数据对应的布局信息，即可确定数据位于存储服务器集群的具体位置，然后直接向相关存储服务器请求数据并处理响应，这个过程是可以并发进行的。不难发现，数据布局管理依赖于元数据服务器，集中式元数据服务模型存在性能瓶颈和单点故障问题，分布式元数据服务模型解决了上述两个问题，但同时引入了设计复杂性、性能开销和元数据同步一致性等问题，这些问题直接影响到系统性能和扩展性。