[发明专利]基于回归的高性能应用I/O性能模型训练与分析方法

说明书

本发明公开的基于回归的高性能应用I/O性能模型训练与分析方法，包括特征的设计、收集数据时采样算法的选择分析、回归模型的选择分析、模型特征重要性分析和性能模型的调优应用，在现有的训练I/O性能模型的基础上，增加了使用LHS拉丁超立方对数据集进行采样收集，通过使用LHS采样能够在较小的样本集中充分探索潜在的参数空间，从而在不影响模型效果的情况下减少实验数据收集的数量提高效率，提高了模型训练的效率和准确性，对应用预测模型解决实际程序I/O性能问题提供了解决思路和方案。

技术领域

本发明属于计算机技术领域，涉及高性能计算机存储系统性能评估与优化方法，具体涉及一种基于回归的高性能应用I/O性能模型训练与分析方法。

背景技术

由于高性能计算(HPC)系统的规模和不断发展的复杂性，我们对HPC应用程序运行时行为(特别是计算、通信和存储行为)的理解存在严重差距(如对这些系统中I/O利用率的理解)。HPC并行I/O系统是复杂的：每个子系统都有多个配置参数，性能可能对其设置敏感，系统配置会影响应用程序的性能和资源利用率。配置这些参数以获得最佳的I/O性能取决于各种因素，如I/O应用程序、存储硬件、问题大小和处理器数量。通常使用默认的I/O参数设置，这可能会导致性能不佳和可用I/O带宽的使用效率低下。而使用构建I/O性能模型的方法可以分析I/O参数和性能之间的关系从而帮助确定参数优化的方向，并且可以在应用I/O参数自动调优优化I/O性能时加速对I/O配置的搜索空间的搜索的速率，从而减少调优的搜索开销。

使用回归分析的方法分析高性能应用I/O性能问题主要是通过建立应用程序性能和I/O参数之间的关系模型来预测在不同的参数组合下应用程序的性能，主要包括特征设计、数据收集、回归模型选择和模型效果的评估等多个环节。在特征设计方面，需要选择合适的特征并对其进行预处理；在数据收集方面，需要考虑数据的数量和分布等问题；在模型算法选择方面，需要选择合适的处理相关数据的算法模型；在效果分析方面，需要评估模型的准确性，进行可解释性分析。目前的相关研究在设计训练模型时主要是考虑不同算法模型在数据上的拟合表现，但是忽略了在收集的数据集质量对性能模型的训练也起着很重要的作用，他们通常是选择自己定义不同I/O参数的可配置值然后进行组合的方式进行数据集的收集，但是基于该方法收集的数据对全样本空间没有比较好的代表性，从而可能由于样本不均衡导致训练模型的精度或者泛化能力下降。

发明内容

本发明目的在于提供了一种基于回归的高性能应用I/O性能模型训练与分析方法，提高了模型训练的效率和准确性。

本发明通过以下技术方案来实现：

基于回归的高性能应用I/O性能模型训练与分析方法，包括：

特征的设计：

考虑对影响高性能应用I/O性能的因素进行特征设计，一方面配置的I/O栈参数为特征，另一方面通过使用Darshan工具，对应用程序的I/O访问信息进行收集进而提取I/O行为相关特征为特征；

基于上述设计的特征对在不同I/O参数配置下运行收集的数据进行标准化处理，对于一个特征向量X＝(x₁,x₂,…,x_n)以log₁₀为底的对数变换特征向量为X^′＝log₁₀(x₁+1),log₁₀(x₂+1)…,log₁₀(x_n+1))，对其中I/O栈参数特征值采用log10对数函数变换的方式，，并在原特征名前加上LOG10构建为新特征；使用总和归一标准化后的转换特征对I/O行为特征采用总和归一标准化的方式，并在原特征名后添加PERC构建为新特征名；

收集数据时采样算法的选择分析：