[发明专利]一种基于统计分析的Spark拖延任务诊断方法

摘要

发明涉及一种基于统计分析的Spark拖延任务诊断方法，监测数据中心并行执行任务，从监测数据中推断出任务执行拖延的原因。在相同阶段，监测相同任务在不同节点的执行情况，搜集物理服务器的监测数据，分析Spark日志文件得到任务执行的监测数据。比较任务执行时间以检测拖延任务，分析拖延任务与正常执行任务的特征值的偏离程度以定位异常特征，从而诊断任务拖延的原因。

主权项

1.一种基于统计分析的Spark拖延任务诊断方法，方法特征在于实现步骤如下：第一步，实时系统监测：使用系统监测软件持续监测执行Spark数据处理作业的各主机，搜集监测数据，包括CPU时间、磁盘每秒读写数据量、网络每秒收发数据量等；第二步，离线日志分析：分析Spark日志文件，从中提取信息，包括读取字节数、Shuffle读取字节数、Shuffle写入字节数、读入内存字节数、读入磁盘字节数、任务垃圾回收时间、序列化执行时间、逆序列化执行时间等；第三步，拖延任务检测：如果某个任务的持续时间大于所有任务的持续时间的1.5倍，则检测为延迟任务；第四步，异常特征诊断：如果特征值F>gq且F>mean(Fpeer)*p，其中，gq是相同任务在不同节点的特征值的q分位数，p和q为可调整的参数值，那么特征值F检测为异常，加入异常特征集合；第五步，异常特征过滤：如果Meanthead(F) & Meanttail(F) >e*F，其中，Meanthead和Meanttail是在任务开始之前和结束之后，时间间隔t内的平均特征值，e为可调整参数值，那么特征F不是异常特征，从异常特征集合中删除。