[发明专利]一种作业性能预测方法、装置、介质、设备及系统

权利要求书

1.一种作业性能预测方法，其特征在于，所述方法包括：

获取大数据分析作业的作业相关参数；

收集作为计算资源的瞬时云主机的相关特征参数；

基于所述作业相关参数以及所述瞬时云主机的相关特征参数，建立Spark作业基本性能预测模型并得到Spark作业完成时间；

基于所述瞬时云主机的相关特征参数，判断在作业完成之前是否发生瞬时云主机撤回事件，如果没有发生所述瞬时云主机撤回事件，则基于所述Spark作业完成时间以及所述瞬时云主机的资源配置预测所述资源配置下的Spark作业完成时间；如果发生所述瞬时云主机撤回事件，则基于关键RDD数据检查备份机制评估所述瞬时云主机撤回事件导致的额外开销，并基于所述额外开销、所述Spark作业完成时间以及所述瞬时云主机的所述资源配置预测所述资源配置下的Spark作业完成时间；

获取所述作业相关参数包括：

根据作业提交历史记录判断是否已经提交过所述大数据分析作业，若已经提交过，则从存储器中获取存储的所述作业相关参数；若没有提交过，则将所述大数据分析作业提交到带有所述关键RDD数据检查备份机制的Spark集群进行作业预运行，并分析所述作业预运行产生的事件日志以获取所述作业相关参数；

所述关键RDD数据检查备份机制将满足以下任意一个条件的RDD作为关键RDD数据进行检查备份：

Stage输出RDD数据量与Stage输入RDD数据量之比大于第一阈值；

Stage执行时间与整个作业执行时间的百分比超过第二阈值。

2.根据权利要求1所述的方法，其特征在于，所述作业相关参数包括DAG图的Stage集合S、每个Stage的祖先Stage集合Aⁱ、并行的Stage集合Pⁱ，所述瞬时云主机的相关特征参数包括磁盘I/O带宽网络I/O带宽和历史价格数据。

3.根据权利要求1所述的方法，其特征在于，建立所述Spark作业基本性能预测模型包括通过拓扑排序的方法进行Stage块的划分，将入度为0的Stage划分为一个所述Stage块。

4.根据权利要求3所述的方法，其特征在于，所述Spark作业基本性能预测模型为：

其中T_job表示所述Spark作业完成时间，表示一个所述Stage块的完成时间，表示一个所述Stage的完成时间，表示一个所述Stage运行时shuffle读取数据和写数据的时间之和，表示一个所述Stage中的数据计算处理时间，表示所述Stage运行过程的Task序列化以及垃圾回收时间，i表示第i个Stage块，Aⁱ表示Stage_i所依赖的祖先Stage集合。

5.根据权利要求2所述的方法，其特征在于，判断在作业完成之前是否发生瞬时云主机撤回事件是通过比较基于所述历史价格数据获得的瞬时云主机的平均无故障时间MTTF与所述Spark作业完成时间进行的，当所述平均无故障时间MTTF小于所述Spark作业完成时间时，判定发生所述瞬时云主机撤回事件，当所述平均无故障时间MTTF大于所述Spark作业完成时间时，判定不发生所述瞬时云主机撤回事件。

6.根据权利要求1所述的方法，其特征在于，所述瞬时云主机撤回事件导致的额外开销包括检查备份关键RDD数据的开销T_chk和恢复丢失RDD数据的重计算开销T_rst。

7.根据权利要求1所述的方法，其特征在于，提交大数据分析作业时输入数据仅为实际数据的一部分，并且使用单节点进行所述作业预运行。