[发明专利]一种分布式系统的计算资源弹性测试方法和装置

说明书

本发明公开了一种分布式系统的计算资源弹性测试方法和装置，方法包括：使用分布式系统的主结点向一个工作结点以单位测试频率发送推理请求以执行基准测试；采集和记录工作结点在处理推理请求时产生的性能参数作为基准测试的结果；使用主结点向数量变化的多个工作结点形成的工作组以对应数量变化的多倍单位测试频率发送推理请求以执行扩展性测试；采集和记录工作组在处理推理请求时产生的性能参数作为扩展性测试的结果；根据基准测试的结果和扩展性测试的结果在各性能参数的维度上执行加权平均耦合以确定归一化的计算资源弹性量化指标。本发明能够测试分布式系统的计算资源弹性，引导分布式系统高效的调度自身计算资源，节约功耗成本。

技术领域

本发明涉及人工智能领域，更具体地，特别是指一种分布式系统的计算资源弹性测试方法和装置。

背景技术

深度学习是机器学习研究中的一个新的比较热门的领域，它的出发点是建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。通过深度学习，机器可以解决如图像分类、语音识别和自然语言处理等一些复杂的技术问题。

由于计算机的计算性能有限，提高性能的第一步是测量，测量计算机的不同硬件性能及训练过程的性能成为提升计算机性能的关键。评测不同硬件平台以及主流深度学习算法训练推理过程性能，称为基准测试(Benchmark)，基准测试的提出有助于计算机性能的提升。Benchmark可以支持测试某一种基础操作的测试，比如某一层网络层的性能测试，也可以支持训练推理的全流程测试。基准测试有不同的应用场景，比如图像分类、目标检测、自然语言处理等，不同的应用领域有不同的模型和数据集，有不同的框架实现，这些都是基准测试需要考虑的问题。

在AI领域已有的基准评测系统中，MLPerf是典型代表之一。MLPerf是有训练和推理两个单独的基准测试系统：训练主要考察的指标是系统将模型训练到目标精度所需的时间；推理主要的考察指标是被测试系统处理请求的平均延时，或平均每秒处理请求数。MLPerf有两个分支，封闭分支和开放分支，其中封闭分支要求测试者使用与参考实例相同的预处理，模型，训练方法等。对于开放分支，允许测试者使用任意预处理，模型和训练方法等来进行。MLPerf的测试报告中只反馈被测试系统整体的计算效率，对于训练，考察训练总耗时；对于推理，考察单位时间处理的样本量。而在实际生产生活中，除去最大性能之外，也关心AI系统的计算资源弹性问题。

针对现有技术中分布式系统的计算资源弹性难以测试的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种分布式系统的计算资源弹性测试方法和装置，能够测试分布式系统的计算资源弹性，引导分布式系统高效的调度自身计算资源，节约功耗成本。

基于上述目的，本发明实施例的第一方面提供了一种分布式系统的计算资源弹性测试方法，包括执行以下步骤：

使用分布式系统的主结点向一个工作结点以单位测试频率发送推理请求以执行基准测试；

响应于工作结点处理推理请求而采集和记录工作结点在处理推理请求时产生的性能参数作为基准测试的结果；

使用主结点向数量变化的多个工作结点形成的工作组以对应数量变化的多倍单位测试频率发送推理请求以执行扩展性测试；

响应于工作组处理推理请求而采集和记录工作组在处理推理请求时产生的性能参数作为扩展性测试的结果；

根据基准测试的结果和扩展性测试的结果在各性能参数的维度上执行加权平均耦合以确定归一化的计算资源弹性量化指标。

在一些实施方式中，工作结点处理推理请求包括：工作结点独立地调用其全部计算资源来处理推理请求。

在一些实施方式中，采集和记录工作结点的性能参数包括：采集和记录工作结点的基准请求处理速率、基准处理延迟、基准启动时间、和基准功耗。