[发明专利]一种基于电力大数据的数据计算调度方法

权利要求书

1.一种基于电力大数据的数据计算调度方法，其特征在于，包括Airflow，Airflow提供1对1、1对多和多对1的依赖关系，并通过trigger_rule来设置上下游节点的运行规则，Airflow生成一个实例，并向所有程序传递统一的调度时间A，且通过数据计算调度方法实现，该方法包括以下步骤：

a、数据导入：日冻结，程序通过参数，导入相应日期的数据分别计算出厂站终端抄表率明细、用户终端抄表率明细、厂站终端抄表率和低压级超终端抄表率；

b、计算：运行电能表，(1)将a中的数据进行计量点电量计算，当数据导入完成，任务被标记为success；

(2)后续计算会根据A找到这批数据并开始计算，计算的结果根据A命名保存在相应的地方；

(3)下一级依赖会在上一级success后根据A找到上一级的结果继续后续的计算；

c、分析对象电量：当多个计算需要用到同一个数据源时，开始执行分析对象电量，当分析对象电量执行完毕后开始计算数据，4个程序都success后，会进入到下一个依赖程序进行数据的汇总并且存储到数据库中。

2.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，trigger_rule对应的参数如下：

(1)All_success：上级依赖全部执行成功，执行下级；

(2)All_failed：上级依赖全部执行失败，执行下级；

(3)One_success：一个上级依赖执行成功，执行下级；

(4)One_failed：一个上级依赖执行失败，执行下级；

(5)All_done：上级依赖全部执行完毕，无论success或failed，执行下级；

(6)None_failed：所有的上级依赖，没有failed及upstream_failed状态，执行下级；

(7)none_skipped：上级处于skipped状态，执行下级；

相互依赖的任务将会根据其上下游关系，按照配置的trigger_rule从上游向下游有序执行。

3.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，Airflow自带web监控服务，web提供一系列可针对节点任务的操作，通过UI直接对每个节点进行重跑，并能同时进行上游或下游的批量操作。

4.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，Airflow结合celery、rabbitmq/redis和mysql/postgres可搭建出稳定的一套调度架构，并能随时横向地拓展架构的资源。

5.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，通过RBAC权限框架集成到web服务中，权限细化到每个按钮的操作，及每个页面的浏览，可通过管理员账号自定义不同的角色。

6.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，调度程序以DSL模板语言实现，可将程序中的各项参数配置在Web和UI中，并通过权限系统管理起来，通过DSL模板语言配置好任务，将任务同步到指定的目录中，执行Airflow提供的指令。

7.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，Airflow可通过配置文件和很多其他的第三方程序进行集成。

8.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，Airflow可对Bash脚本、python程序、spark程序、存储过程、Http请求和Hive进行依赖的编写和定时的调度。

9.如权利要求1所述的一种基于电力大数据的数据计算调度方法，其特征在于，Airflow在每个实例会通过向程序提供相同的参数，控制各个程序依赖于同一个数据源和同一批数据，并且维持上下级的数据依赖关系。

10.如权利要求7所述的一种基于电力大数据的数据计算调度方法，其特征在于，第三方程序为RBAC权限框架、Rabbitmq/redis、kerburos、ldap和git。