[发明专利]基于图卷积网络的Spark作业时间预测方法和装置

权利要求书

1.一种基于图卷积网络的Spark作业时间预测方法，所述方法包括：

获取Spark作业的有向无环图；

根据所述有向无环图中每个算子的操作信息，构建每个算子的多元向量，根据所述多元向量，得到节点属性矩阵；

将所述节点属性矩阵输入图卷积网络，输出算子执行时间，根据所述算子执行时间和每个算子实际执行时间，得到所述图卷积网络的损失函数；

根据所述损失函数，反向传播训练所述图卷积网络，将所述节点属性矩阵输入训练好的图卷积网络，提取卷积层输出，得到算子的图状依赖关系的依赖特征值；

提取Spark作业中的显式特征值，将所述显式特征值与所述依赖特征值进行拼接，得到样本特征；

根据所述样本特征和所述损失函数训练得到预测模型，根据所述预测模型预测Spark作业时间；

根据所述有向无环图中每个算子的操作信息，构建每个算子的多元向量，根据所述多元向量，得到节点属性矩阵，包括：

根据所述有向无环图中每个算子的算子类型、数据分区大小、内存资源数量、CPU核心数量以及计算任务数量，构建每个算子的多元向量；其中，所述算子类型采用词向量嵌入所述多元向量；将所述有向无环图中的算子按照宽度优先搜索进行拓扑排序，根据所述算子的排序结果，将所述多元向量进行拼接，得到节点属性矩阵；

提取Spark作业中的显式特征值，将所述显式特征值与所述依赖特征值进行拼接，得到样本特征，包括：

提取Spark作业中的输入数据大小、分配给Spark作业的内存资源数量以及分配给Spark作业的计算资源数量作为显示特征值；将所述显式特征值和所述依赖特征值进行拼接，得到样本特征。

2.根据权利要求1所述的方法，其特征在于，根据所述算子执行时间和每个算子实际执行时间，得到所述图卷积网络的损失函数，包括：

计算所述算子执行时间和每个算子实际执行时间之差的平方和，得到所述图卷积网络的损失函数。

3.根据权利要求1所述的方法，其特征在于，所述图卷积网络是基于传播规则的有向无环图卷积函数创建的图卷积神经网络；所述图卷积神经网络包括：有向无环图卷积层和回归层。

4.根据权利要求1至3任一项所述的方法，其特征在于，将所述节点属性矩阵输入训练好的图卷积网络，提取卷积层输出，得到算子的图状依赖关系的依赖特征值，包括：

将所述节点属性矩阵输入训练好的图卷积网络，通过前向传播算法将图卷积网络的卷积层的输出取出，得到算子的图状依赖关系的依赖特征值。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述预测模型为采用贝叶斯正则化反向传播函数训练的全连接神经网络模型。

6.一种基于图卷积网络的Spark作业时间预测装置，其特征在于，所述装置包括：

隐式特征获取模块，用于获取Spark作业的有向无环图；根据所述有向无环图中每个算子的操作信息，构建每个算子的多元向量，根据所述多元向量，得到节点属性矩阵；将所述节点属性矩阵输入图卷积网络，输出算子执行时间，根据所述算子执行时间和每个算子实际执行时间，得到所述图卷积网络的损失函数；根据所述损失函数，反向传播训练所述图卷积网络，将所述节点属性矩阵输入训练好的图卷积网络，提取卷积层输出，得到算子的图状依赖关系的依赖特征值；

拼接模块，用于提取Spark作业中的显式特征值，将所述显式特征值与所述依赖特征值进行拼接，得到样本特征；

时间预测模块，用于根据所述样本特征和所述损失函数训练得到预测模型，根据所述预测模型预测Spark作业时间；

隐式特征获取模块，还用于根据所述有向无环图中每个算子的算子类型、数据分区大小、内存资源数量、CPU核心数量以及计算任务数量，构建每个算子的多元向量；其中，所述算子类型采用词向量嵌入所述多元向量；将所述有向无环图中的算子按照宽度优先搜索进行拓扑排序，根据所述算子的排序结果，将所述多元向量进行拼接，得到节点属性矩阵；

拼接模块，还用于提取Spark作业中的输入数据大小、分配给Spark作业的内存资源数量以及分配给Spark作业的计算资源数量作为显示特征值；将所述显式特征值和所述依赖特征值进行拼接，得到样本特征。