[发明专利]一种基于时间序列分析的深度学习训练任务行为预测方法

说明书

本发明公开一种基于时间序列分析的深度学习训练任务运行行为的预测方法，包括收集GPU利用率和训练任务信息和任务指标；将GPU利用率视为时间序列样本，通过傅立叶变换时域为频域得到振幅‑时间的频谱图，在频谱图上取最大值对应的时间为GPU利用率周期；以GPU利用率周期为SARIMA模型的季节长度S，以GPU利用率为训练数据，迭代训练SARIMA模型，依据评估指标选择最优的SARIMA模型进行时间序列指标的GPU利用率预测；利用GPU利用率周期结合任务指标采用曲线拟合方法预测训练任务精度的变化趋势以获取训练任务满意精度时的迭代次数，迭代次数乘以所获取的训练任务周期得到训练任务执行时间预测。本发明细粒度地特征化DNN工作负载并预测了工作负载行为。

技术领域

本发明涉及深度学习领域，尤其涉及一种基于时间序列分析的深度学习训练任务行为预测方法。

背景技术

虽然现阶段已经有很多基准测试程序被设计出来用于评估深度学习模型，但是目前还没有细致分析GPU上执行的工作负载的运行时特征以及预测深度学习模型行为的研究。

深度学习：深度神经网络(Deep Neural Network，DNN)是一种模拟人脑神经细胞的模型。其包含N层(N2)神经网络，每层实际上是输入数据的一种变换。经过多次变换后可以提取一些隐藏在输入数据背后深层次的特征。这种变换通过神经元的权重以及激活函数来实现。一个DNN模型由很多模型参数(例：权重)以及超参数(例：学习率、批大小)组成。DNN训练过程即决定模型参数的过程，训练过程旨在寻找更优的权重来使得损失函数(估量模型的预测值与真实值的不一致程度)达到极小值，调整权重的常见算法如随机梯度下降(Stochastic Gradient Descent，SGD)。为了简化及加速训练过程，催生出很多深度学习框架，例如Tensorflow、Pytorch、Caffe。深度学习框架通过高级语言接口简化DNN的训练及验证过程。因为其大大减少了实现DNN模型的复杂度，所以有众多学者和开发者受益于这些深度学习框架随着深度学习在诸多领域的成功应用(例如：图像分类、语音识别)，新兴的深度学习模型以及框架也越来越多。其中以深度神经网络(Deep Neural Networks，DNN)为核心的深度学习模型已经被广泛的研究。并且衍生了许多与DNN相关的经典模型例如，例如卷积神经网络(Convolutional Neural Network，CNN)、递归神经网络(Recurrent NeuralNetwork，RNN)。同时催生了大数据集以及强力的计算设备来训练DNN模型以达到令人满意的准确率。由于现阶段CPU的算力尚不能满足大批量的DNN模型训练需求，所以开发者通常使用并行程度更高的GPU来加速训练任务。

GPU的大量使用催生了GPU提供方(比如云资源厂商、数据中心)分析、优化、调度训练任务的需求，GPU资源有限的情况下，如何最优化分配GPU以获得更大GPU使用率成为新的研究点。

随着深度学习在诸多领域的成功应用(例如：图像分类、语音识别)，新兴的深度学习模型以及框架也越来越多。其中以深度神经网络DNN为核心的深度学习模型已经被广泛的研究。并且衍生了许多与DNN相关的经典模型例如，例如卷积神经网络CNN、递归神经网络RNN。为了简化设计新DNN模型的难度，行业催生了很多深度学习框架包括Tensorflow、PyTorch、Caffe，并且这些深度框架得到了广泛使用。同时也催生了大数据集以及强力的计算设备来训练DNN模型以达到令人满意的准确率。由于现阶段CPU的算力尚不能满足大批量的DNN模型训练需求，所以开发者通常使用并行程度更高的GPU来加速训练任务。而为了全面理解并优化DNN模型，相关的基准测试程序(benchmark)工具也必不可少。