[发明专利]基于纠删码的细粒度云存储调度方法

说明书

技术领域

本发明涉及云存储技术领域，具体地，涉及一种基于纠删码的细粒度云存储调度方法。

背景技术

随着云计算技术的发展，云存储服务也受到越来越多行业的关注和使用。云存储是一个数据存储模型，数据被存储在一个逻辑存储池中，实际的物理存储则由多台物理服务器组成，通常情况下，这些物理环境由企业或公司进行管理。云存储系统拥有灵活、易维护、可扩展等特性，并提供数据存储的可靠性保证。用户可以在任何地点通过网络非常方便地访问云存储服务，完成数据存储和获取等操作。而且，相对于传统的存储服务，它具有成本低、便捷性好的优点。毫无疑问，云存储已经成为了当前最流行的在线数据存储方案。目前，国外最流行的云存储服务包括Dropbox、Google Driver、Microsoft One Driver、Apple iCloud，国内的有百度云盘、腾讯微云、华为云盘、360网盘等。

在云存储系统中，通常使用两种方式来提高数据容错和防灾备份能力，以及保证数据的可用性。一是通过简单的冗余备份，对原始数据进行多份拷贝并分别保存在多个不同的存储节点中。二是通过纠删码(Erasure Code)技术，将原始数据经过一定编码分成若干较小的数据块并保存在多个不同的存储节点中。对于一个(n,k)纠删码(n>k)，原始数据先被等分成k个大小相同的数据块，再将k个数据块经过一定编码生成n个数据块，并保存在n个不同的存储节点中，每次只需从n个数据块中任意获取k个数据块并进行解码即可恢复原始数据。对于任意(ni,ki)，只需满足MDS码(Maximum Distance Separable code,最大距离可分码)，即可使用纠删码对文件进行编码存储。目前，存储云基本都使用多种不同纠删码对文件进行编码存储，从而来保证数据的可靠性。如，Facebook数据仓库集群对频繁访问的数据简单地使用3份拷贝进行存储，而对一些较少访问的数据利用(14,10)纠删码进行保存。一些主流的开源云存储平台也开始支持纠删码技术并利用多种不同的纠删码进行数据存储，如OpenStack的Swift服务和HDFS-RAID。

相比于简单的对原始数据进行冗余备份，利用纠删码对数据进行编码存储能够更高效地利用存储空间，并能降低数据获取时延。云存储系统的一个重要设计准则就是实现数据的快速获取。据Amazon、Microsoft和Google等企业的相关报道，即使轻微的时延增加也会导致企业出现实质性的收益降低。由于纠删码能比较有效地降低时延，所以目前被广泛地运用在企业或一些开源的云平台中。对于使用(n,k)纠删码进行存储的文件，通常利用L个线程并行下载k个已编码的数据块(k<＝L<＝n)，只要任意k个数据块下载结束，通过对该k个数据块进行解码即可恢复原始数据。相对于下载整个原始数据，由于每个数据块小于原始数据，因此大大降低了数据获取时延。然而，线程调度策略会对数据获取时延产生影响，因此，目前最关键的问题是如何优化线程调度以降低数据获取时延？

本发明基于存储节点的负载信息提出了一种新的调度策略和调度方法，通过对大量存储节点的负载信息进行分析，包括内存利用率、磁盘利用率、CPU利用率、硬盘读写次数和收发的数据包等，找出可能影响时延的性能指标，根据这些指标设计更细粒度的调度策略，并实现对应的调度算法。利用多种不同的纠删码对大量文件进行编码存储，在用户请求到达满足不同分布的情况下进行测试，包括真实的用户请求数据和用户请求到达满足韦伯分布两种情况。最后，利用开源项目OpenStack搭建了一个真实的云计算平台进行测试。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于纠删码的细粒度云存储调度方法。

根据本发明提供的基于纠删码的细粒度云存储调度方法，包括如下步骤：

步骤1：对云存储系统中的存储节点的负载信息进行分析，确定影响数据下载时延的性能指标；

步骤2：根据步骤1的性能指标和负载信息制定基于纠删码的云存储调方法，即利用存储节点的负载信息反向指导代理节点进行线程调度；

步骤3：通过多种不同的纠删码对云存储系统中文件进行编码存储。

优选地，利用开源项目OpenStack搭建云计算平台，根据实际用户请求数据在云平台上进行部署和验证。

优选地，所述的步骤1中的云存储系统是指：一个数据存储模型，数据在逻辑层面被存储在一个逻辑存储池中，实际的物理存储则由多台物理服务器完成。