[发明专利]面向共享式突发数据缓存的基于竞争感知的节点分配方法

说明书

本发明公开了一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，包括：实时记录和分析当前运行的作业应用的I/O状态信息；实时监控当前运行的作业应用在突发数据缓存系统中的分布情况，并利用运行的作业应用的I/O状态信息计算缓存节点的负载量；利用缓存节点调度分配算法，根据突发数据缓存系统中缓存节点的I/O带宽竞争情况与的负载量，为即将运行的作业应用分配相应的缓存节点，然后，更新当前运行的作业应用的I/O状态信息与缓存节点的负载量。该方法能够高效地管理突发数据缓存系统中缓存节点的调度分配并协调同时来自不同用户的大量作业应用并发执行以优化应用和系统的性能。

技术领域

本发明涉及计算机系统结构领域，尤其涉及一种面向共享式突发数据缓存的基于竞争感知的节点分配方法。

背景技术

高性能科学应用通常包含大量的I/O访问操作并且会产生大量数据。数据传输已成为许多大规模科学计算应用的性能瓶颈。Burst Buffer突发数据缓存技术是解决这一性能瓶颈问题的有潜力的方案。它是位于计算节点与并行文件系统之间的由高速存储介质(如SSD固态硬盘)组成的独立缓存节点。缓存节点可以快速利用其本地SSD的高带宽和低延迟特性来迅速吸收计算节点发出的I/O流量，从而达到提高应用程序I/O性能的目的。

目前针对此存储系统结构的研究主要集中在：1)基于新型存储硬件技术，致力于让硬盘的访问速度(尤其是随机访问的速度)追赶上内存的访问速度；2)如何通过在靠近数据存储的位置提供计算分析功能从而减少数据的传输量；3)通过在靠近计算节点的位置提供额外的快速缓存设备以减少数据的传输时间。但是现有的相关工作研究主要集中在提高单个应用在上述存储系统结构中的性能优化，没有考虑多应用并发访问时的存储资源分配、带宽竞争等问题。

突发数据缓存系统被设计为数百或数千个以上用户和应用程序共享的存储资源。以往的研究工作主要集中在研究如何通过直接减少I/O时间以及利用应用程序的计算和I/O阶段之间的重叠来提高应用程序性能。但是针对共享式突发数据缓存的存储资源管理仍未得到充分研究，现有的缓存节点调度分配策略只考虑用户的容量需求，这可能会导致多个并发运行的数据密集型应用程序之间会产生I/O竞争阻塞。

因此，亟需一种不仅能最大限度地提高存储资源利用率而且可以最大限度地减少应用之间的I/O带宽竞争的突发数据缓存节点分配算法。

发明内容

本发明的目的是提供一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，能够高效地管理突发数据缓存系统中缓存节点的调度分配并协调同时来自不同用户的大量作业应用并发执行以优化应用和系统的性能。

本发明的目的是通过以下技术方案实现的：

一种面向共享式突发数据缓存的基于竞争感知的节点分配方法，包括：

实时记录和分析即将运行的作业应用的I/O状态信息；

实时监控当前运行的作业应用在突发数据缓存系统中的分布情况，从而计算缓存节点的负载量；

利用缓存节点调度分配算法，根据突发数据缓存系统中缓存节点的I/O带宽竞争情况与负载量以及即将运行的作业应用的I/O状态信息，为即将运行的作业应用分配相应的缓存节点，然后，更新即将运行的作业应用的I/O状态信息与缓存节点的负载量。

由上述本发明提供的技术方案可以看出，能够实现面向共享式突发数据缓存的节点动态分配。不仅能最大限度地提高存储资源利用率，而且可以最大限度地减少应用之间的I/O带宽竞争。通过动态分配当前负载较低的Burst Buffer节点来满足不同应用的存储需求，从而有效地提高应用程序的I/O性能和缓存系统的带宽利用率。

附图说明