[发明专利]一种任务熔断方法、系统、电子设备及可读存储介质

说明书

本申请公开了一种任务熔断方法、系统、电子设备及可读存储介质，任务熔断方法包括：设置步骤：设置内存使用率阈值以及pyspark子进程数量阈值；拉取步骤：拉取节点当前的内存使用率以及pyspark子进程数量；判断步骤：根据所述内存使用率阈值以及所述pyspark子进程数量阈值对所述内存使用率与所述pyspark子进程数量进行判断后输出第一判断结果，根据所述第一判断结果提取任务信息，根据所述任务信息对任务进行判断后输出第二判断结果；熔断步骤：若所述第二判断结果中所述任务为非紧急任务，则熔断所述任务。通过本发明自动分析任务是否进行熔断操作，保证了集群的稳定性，并提高工作效率。

技术领域

本申请涉及任务熔断技术领域，尤其涉及一种任务熔断方法、系统、电子设备及可读存储介质。

背景技术

Hadoop集群中的节点分为两类：master节点和slave节点。Hadoop集群上可以运行多种分布式计算框架比如mapreduce、flink、spark。Hadoop中的组件YARN会对这些任务进行调度及资源分配，将这些任务分成多个任务分片，每个任务分片以container的形式分配到各个slave节点上运行。YARN会根据任务配置的内存参数将container分配到适合的slave节点上。正常情况下这些任务的container运行内存不会超过其配置的内存参数，也不会影响slave节点的正常运行。但一些计算框架支持container在slave节点上创建新的子进程(主要以pyspark类型的任务为主)。这些子进程往往不受任务配置的内存参数限制，并且这些子进程由于没有在YARN当中进行注册，因而也不受YARN控制。一但这些任务代码逻辑存在问题，比如在内存中缓存大量数据，会导致slave节点内存飙升，进而导致节点宕机或者连接超时。当这种异常任务中的多个任务分片(container)存在这种问题的话就会导致集群大量节点掉线，影响集群稳定性。因此需要对这些不受YARN控制的子进程及任务进行熔断操作，当判断其非紧急任务时可及时进行熔断操作，停掉占用内存过多的pyspark任务及其子进程，保证集群稳定。一般情况下异常任务会导致slave节点内存飙升，触发内存报警或超时报警。运维人员收到报警后，登录报警机器或者查看目前内存使用率接近100％的机器，查看占用内存最高的进程，并通过进程查看其对应的YARN任务ID。当登录多台机器查看的任务ID均指向同一任务时基本上可以确定是由该任务导致。运维人员通知任务所属业务组停掉异常任务，集群恢复正常。普通方法是需要运维人员登录机器然后联系业务组，中间处理时间较长。另外一种方法是运维人员接到报警时已经有机器宕机，不能提前预防机器宕机的问题发生。

发明内容

本申请实施例提供了一种任务熔断方法、系统、电子设备及可读存储介质，以至少解决了不受YARN控制的异常任务中的多个任务分片(container)代码逻辑存在问题使节点宕机或者连接超时，导致集群大量节点掉线，影响集群稳定性以及无法对不受YARN控制的异常任务进行智能熔断操作等问题。

本发明提供了一种任务熔断方法，包括：

设置步骤：设置内存使用率阈值以及pyspark子进程数量阈值；

拉取步骤：拉取节点当前的内存使用率以及pyspark子进程数量；

判断步骤：根据所述内存使用率阈值以及所述pyspark子进程数量阈值对所述内存使用率与所述pyspark子进程数量进行判断后输出第一判断结果，根据所述第一判断结果提取任务信息，根据所述任务信息对任务进行判断后输出第二判断结果；

熔断步骤：若所述第二判断结果中所述任务为非紧急任务，则熔断所述任务。

上述的任务熔断方法，所述拉取步骤包括，每隔一固定时间拉取所述节点当前的所述内存使用率以及所述pyspark子进程数量，并将所述内存使用率与所述pyspark子进程数量构成的队列输入到预测模型中。