[发明专利]使用基于应用的剖析的机器学习工作负载的弹性执行

说明书

实施例涉及用于使用基于应用的剖析来支持机器学习(ML)工作负载的弹性执行的系统、程序产品和方法。生成包括ML应用执行和资源使用数据两者的联合简档。从联合简档识别一个或多个特征和签名，并且构建用于ML应用执行和资源使用的ML执行模型。ML执行模型利用特征和签名，并且被应用来向后续应用执行提供一个或多个指令。ML执行模型的应用支持并使得ML执行能够弹性地分配并从资源管理组件请求一个或多个资源，其中弹性分配支持应用执行。

背景技术

本实施例涉及训练机器学习模型以剖析机器学习工作负载的执行。更具体地，实施例涉及生成应用执行和资源使用的联合简档，以及利用封装在经训练的机器学习模型中的执行模型来与资源管理系统交互以支持机器学习应用执行和对应的性能。

人工智能(AI)涉及针对计算机和与人类相关的计算机行为的计算机科学领域。AI是指机器基于信息能够做出决策时的智能，其最大化了在给定主题中成功的机会。更具体地说，AI能够从数据集学习以解决问题并提供相关的推荐。例如，在人工智能计算机系统领域中，自然语言系统(诸如IBM人工智能计算机系统或其它自然语言问答系统)基于系统获得的知识处理自然语言。为了处理自然语言，可以利用从知识语料库导出的数据来训练系统，但是由于各种原因，产生的结果可能具有不同程度的准确性。

机器学习(ML)是人工智能(AI)的子集，其利用算法来从数据学习并基于该数据创建前瞻。ML是通过创建模型的AI应用，包括能够通过执行未明确编程的任务来证明学习行为的神经网络。ML工作负载需要大的数据集、对数据的快速和并行访问以及用于训练以支持学习的算法。支持ML工作负载的硬件的示例包括但不限于加速器，诸如图形处理单元(GPU)、中央处理单元(CPU)基础结构和存储解决方案。用于ML工作负载的资源使用特性具有通常被收集用于调试和执行时序研究的资源剖析。资源剖析集合当前使用独立于应用或工作负载执行的时序框架。使用相同的时序框架来联合剖析工作负载执行和资源使用以改进工作负载执行和资源使用的相关性将是有利的。此外，联合剖析将使得能够利用不同的ML参数集实现诸如在任务级或在迭代级的细粒度的相关性。因此，在具有支持ML工作负载的适当数量的资源的情况下，联合剖析可以是支持有效和高效的资源使用和工作负载执行的途径。

发明内容

实施例包括用于采用人工智能平台来将高效且有效的ML应用执行与计算资源分配相融合的系统、计算机程序产品和方法。

在一个实施例中，提供了一种用于与人工智能(AI)平台一起使用的系统，以训练和维护ML应用执行建模器，以使用基于应用的剖析来弹性地执行机器学习工作负载。如所示，该系统具有操作地耦合到存储器的处理单元，例如处理器，以及与处理单元通信的AI平台。AI平台嵌入有简档管理器、ML管理器和指导器形式的工具。简档管理器用于生成包括ML应用执行和资源使用数据两者的联合简档。ML管理器用于从联合简档识别一个或多个特征和签名，并且构建用于ML应用执行和资源使用的ML执行模型。ML执行模型利用(一个或多个)特征和(一个或多个)签名。指导器用于应用ML执行模型并向随后的应用执行提供一个或多个指令。指导器的应用支持并使ML执行能够弹性地分配并从资源管理组件请求一个或多个资源，其中所述弹性分配支持应用执行。

在另一个实施例中，提供了一种计算机程序产品，以使用基于应用的剖析来支持ML工作负载的弹性执行。该计算机程序产品包括具有随其实施的程序代码的计算机可读存储介质，其中该程序代码可由处理器执行以训练和维护ML应用执行建模器以使用基于应用的剖析来弹性地执行ML工作负载。提供程序代码以生成包括ML应用执行和资源使用数据两者的联合简档。提供程序代码以从联合简档识别一个或多个特征和签名，并且构建用于ML应用执行和资源使用的ML执行模型。ML执行模型利用(一个或多个)特征和(一个或多个)签名。程序代码应用ML执行模型并向随后的应用执行提供一个或多个指令。程序代码的应用支持并使ML执行能够弹性地分配并从资源管理部件请求一个或多个资源，其中弹性分配支持应用执行。