[发明专利]一种基于Spark作业的计算资源确定方法及装置

权利要求书

1.一种基于Spark作业的计算资源确定方法，其特征在于，包括：

利用预先训练得到的预测模型，分别预测利用每种计算资源对待处理数据进行处理的耗时；

训练得到所述预测模型包括：

获取多份待训练样本数据，其中，每份样本数据中包括输入特征及其对应的处理耗时，所述输入特征包括：数据并行的算子、数据集及为其分配的计算资源；

在所述多份待训练样本数据中确定多个样本对，每个样本对包括两份样本数据的输入特征、以及该两份样本数据的处理耗时之差；

利用所述多个样本对预设结构的神经网络进行训练，得到所述预测模型；

其中，所述预测模型为：以不同数据量大小的数据集和为所述数据集分配的各种计算资源为输入，以处理耗时为监督，对预设结构的神经网络进行训练得到的；每种计算资源中包括一个或多个处理单元，各计算资源包括的处理单元的数量不同；

在预测得到的耗时中，确定最短耗时对应的计算资源，作为所述待处理数据对应的计算资源。

2.根据权利要求1所述的方法，其特征在于，所述输入特征还包括：并行处理的任务数量以及任务的有向循环图。

3.根据权利要求1所述的方法，其特征在于，所述在预测得到的耗时中，确定最短耗时对应的计算资源，作为所述待处理数据对应的计算资源之后，还包括：

若存在多份待处理数据，根据所述预测模型预测得到的每份待处理数据对应的最短耗时，分配计算资源，其中，优先为耗时短的待处理数据分配其对应的计算资源；

针对分配到计算资源的每份待处理数据，利用所述预测模型，预测调整为该份待处理数据分配的计算资源后，该份待处理数据对应的处理耗时，作为第一调整后耗时；

在预测得到的第一调整后耗时中，确定最短第一调整后耗时对应的待处理数据，作为捐赠者；

从为所述捐赠者分配的计算资源中，确定待迁移计算资源；

将所述待迁移计算资源分配给未分配到计算资源的待处理数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

针对未分配到计算资源的每份待处理数据，利用所述预测模型，预测调整为该份待处理数据分配的计算资源后，该份待处理数据对应的处理耗时，作为第二调整后耗时；

在预测得到的第二调整后耗时中，确定最短第二调整后耗时对应的待处理数据，作为接受者；

所述将所述待迁移计算资源分配给未分配到计算资源的待处理数据，包括：

将所述待迁移计算资源分配给所述接受者。

5.根据权利要求3或4所述的方法，其特征在于，所述从为所述捐赠者分配的计算资源中，确定待迁移计算资源，包括：

根据所述最短第一调整后耗时对应的计算资源调整量，从为所述捐赠者分配的计算资源中，确定待迁移计算资源。

6.一种基于Spark作业的计算资源确定装置，其特征在于，包括：

第一预测模块，用于利用预先训练得到的预测模型，分别预测利用每种计算资源对待处理数据进行处理的耗时；

训练得到所述预测模型包括：

获取多份待训练样本数据，其中，每份样本数据中包括输入特征及其对应的处理耗时，所述输入特征包括：数据并行的算子、数据集及为其分配的计算资源；

在所述多份待训练样本数据中确定多个样本对，每个样本对包括两份样本数据的输入特征、以及该两份样本数据的处理耗时之差；

利用所述多个样本对预设结构的神经网络进行训练，得到所述预测模型；

其中，所述预测模型为：以不同数据量大小的数据集和为所述数据集分配的各种计算资源为输入，以处理耗时为监督，对预设结构的神经网络进行训练得到的；每种计算资源中包括一个或多个处理单元，各计算资源包括的处理单元的数量不同；

第一确定模块，用于在预测得到的耗时中，确定最短耗时对应的计算资源，作为所述待处理数据对应的计算资源。