[发明专利]基于深度迁移学习的Spark作业时间预测方法和装置

说明书

本申请涉及一种基于深度迁移学习的Spark作业时间预测方法和装置。所述方法包括：获取不同类型的Spark作业的样本数据，将目标样本和源样本分别输入全连接神经网络模型，记录全连接神经网络模型每一层网络输出的目标样本的目标样本激活值和源样本的源样本激活值，根据目标样本激活值和所述源样本激活值，得到每一层网络的最大均值差异，根据全连接神经网络模型输出目标样本对应的标签预测值以及目标样本对应的标签实际值，确定平均平方误差，根据平均平方误差和最大均值差异，确定损失函数，根据损失函数，训练全连接神经网络模型，根据训练好的全连接神经网络模型，预测Spark作业时间。采用本方法能够实现多类型样本数据训练预测模型。

技术领域

本申请涉及计算机技术领域，特别是涉及一种基于深度迁移学习的Spark作业时间预测方法和装置。

背景技术

数据并行作业的有向无环图(DAG)包含了一连串的算子操作。对于不同的数据并行作业来说，DAG的结构和算子的使用情况也不完全相同。例如，用于网络通信操作的算子(如Reduce，GroupByReduce，SortByReduce等)会被通信密集型的数据并行作业频繁使用。因此，网络密集型作业的系统开销分布和计算密集型作业不同。

一般情况下，如果训练样本集的所有样本属于同一类应用，它们的系统开销分布应该是独立同分布的。在机器学习领域里，训练数据应该满足独立同分布的条件。否则，不同分布的样本不能用来训练同一个预测模型。比如，从PageRank类型的作业采集的训练样本集用来训练一个预测模型；该模型不能用于预测一个K均值聚类作业的完成时间。我们的实验显示，这会导致高达60％的预测错误率。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决不同应用类型样本集训练预测模型预测错误率高问题的基于深度迁移学习的Spark作业时间预测方法和装置。

一种基于深度迁移学习的Spark作业时间预测方法，所述方法包括：

获取不同类型的Spark作业的样本数据；所述样本数据包括：目标样本和源样本；

将所述目标样本和所述源样本分别输入全连接神经网络模型，记录所述全连接神经网络模型每一层网络输出的所述目标样本的目标样本激活值和所述源样本的源样本激活值；

根据所述目标样本激活值和所述源样本激活值，得到每一层网络的最大均值差异；

根据所述全连接神经网络模型输出所述目标样本对应的标签预测值以及所述目标样本对应的标签实际值，确定平均平方误差；

根据所述平均平方误差和所述最大均值差异，确定损失函数；

根据所述损失函数，训练所述全连接神经网络模型，根据训练好的全连接神经网络模型，预测Spark作业时间。

在其中一个实施例中，还包括：根据所述目标样本激活值和所述源样本激活值，得到每一层网络的最大均值差异的表达式如下：

其中，MMD^l表示第l层的最大均值差异，n_s表示源样本，n_t表示目标样本，表示第i个源样本经过第l层产生的源样本激活能，表示第i个目标样本经过第l层产生的目标样本激活能。

在其中一个实施例中，还包括：选择不同的作业配置；所述作业配置包括：输入数据大小和任务数量；执行不同的作业配置的Spark作业，得到Spark作业的样本数据；样本数据包括：目标样本和源样本。

在其中一个实施例中，还包括：根据所述全连接神经网络模型输出所述目标样本对应的标签预测值和所述目标样本对应的标签实际值之差的平方和，得到平均平方和误差啊。

在其中一个实施例中，还包括：对所述最大均值差异与所述平均平方误差相乘，将相乘结果与所述平均平方误差求和，得到损失函数。