[发明专利]一种基于电力大数据的数据计算调度方法

说明书

本发明公开了一种基于电力大数据的数据计算调度方法，属于电力信息技术应用领域，包括Airflow，Airflow提供1对1、1对多和多对1的依赖关系，并通过trigger_rule来设置上下游节点的运行规则，Airflow生成一个实例，并向所有程序传递统一的调度时间A，且通过数据计算调度方法实现。本发明拥有自己的权限管理系统和强大的依赖关系设计，Airflow可以做到1对1、1对多和多对1的流程依赖关系，Airflow完美契合了业务的需求，可将每个数据或计算作为一个节点并相互依赖起来，代码维护简单易用，部署起来相比于同类的调度程序，不需要复杂的编译过程。

技术领域

本发明涉及一种计算调度方法，特别是涉及一种基于电力大数据的数据计算调度方法，属于电力信息技术应用领域。

背景技术

电力信息系统都会涉及到相关的计算，不同的计算会存在一定的相关性和依赖性，特别是在电力大数据领域，如何更好的使计算过程可视化、计算依赖配置化，在电力大数据领域方面是至关重要的，基于此引入了Airflow，它是一个调度、监控工作流的平台。用于将一个工作流制定为一组任务的有向无环图DAG，并指派到一组计算节点上，根据相互之间的依赖关系，有序执行，传统的大数据计算调度方法没有正确构建任务依赖关系，无法保障业务数据有效、适时地产出和形成规范化的数据研发场景，同时代码比较复杂，编译过程比较复杂，同时大数据计算调度方法与外界联系起来可视化效果不理想限制了功能的拓展。

发明内容

本发明的主要目的是为了解决现有技术的不足而提供一种基于电力大数据的数据计算调度方法。

本发明的目的可以通过采用如下技术方案达到：

一种基于电力大数据的数据计算调度方法，包括Airflow，Airflow提供1对1、1对多和多对1的依赖关系，并通过trigger_rule来设置上下游节点的运行规则，Airflow生成一个实例，并向所有程序传递统一的调度时间A，且通过数据计算调度方法实现，该方法包括以下步骤：

a、数据导入：日冻结，程序通过参数，导入相应日期的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压级超终端抄表率；

b、计算：运行电能表，(1)将a中的数据进行计量点电量计算，当数据导入完成，任务被标记为success；

(2)后续计算会根据A找到这批数据并开始计算，计算的结果根据A命名并保存在相应的地方；(3)下一级依赖会在上一级success后根据A找到上一级的结果继续后续的计算；

c、分析对象电量：当多个计算需要用到同一个数据源时，开始执行分析对象电量，当分析对象电量执行完毕后开始计算数据，4个程序都success后，会进入到下一个依赖程序进行数据的汇总并且存储到数据库中。

优选的，trigger_rule对应的参数如下：

(1)All_success：上级依赖全部执行成功，执行下级；

(2)All_failed：上级依赖全部执行失败，执行下级；

(3)One_success：一个上级依赖执行成功，执行下级；

(4)One_failed：一个上级依赖执行失败，执行下级；

(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；

(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；

(7)none_skipped：上级处于skipped状态，执行下级；

相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行。