[发明专利]一种支持自定义函数的电网运行数据分布式统计方法及系统

权利要求书

1.一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，包括以下步骤：

S1，根据电网运行数据统计业务的功能需求，开发对应的UDF函数；

S2，初始化各种业务类型对应的SQL模板和UDF函数创建语句；

S3，通过任务调度中心前端界面来完成统计任务信息的注册；

S4，调度中心根据任务的Cron配置信息按时触发任务调度，并通过RPC方式向执行器发起任务调度请求；

S5，执行器接收并解析任务参数，根据表名信息给HBase量测表创建对应的Hive映射表；

S6，执行器根据任务参数动态生成统计任务对应的统计SQL语句，执行 UDF函数创建语句，然后把统计SQL语句提交给Yarn资源调度框架来执行统计任务；

S7，电网运行数据统计结果写入HBase结果表；

S8，执行器完成数据统计任务，并返回运行结果。

2.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述根据运行数据统计业务的具体需求，判断现有数据仓库的内置函数是否满足数据统计业务需求，如果不满足，则需要根据统计业务逻辑，开发对应的UDF函数，来满足统计业务需求。

3.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述初始化各种业务类型对应的配置信息还包括：数据统计任务对应的统计结果表创建SQL模板。

4.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述任务信息包括数据统计的表名、业务类型、任务类型和任务参数。

5.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述任务调度中心与执行器之间通过RPC的方式来实现任务参数信息的传递以及任务执行函数的调用。

6.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述任务调度中心使用分片广播的路由策略来实现数据统计任务的分布式协同执行。

7. 根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述Hive映射表是为HBase中的数据表所创建的Hive外表，用于实现利用Hive SQL的OLAP特性来统计分析HBase中的海量数据的功能。

8.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，所述UDF函数是为了满足电网特定业务需求而开发的用户自定义函数，在统计任务执行之前，该任务对应的UDF函数需要先动态创建出来。

9.根据权利要求1所述的一种支持自定义函数的电网运行数据分布式统计方法，其特征在于，电网运行数据统计结果写入HBase结果表的过程为：，首先创建HBase结果表对应的Hive外表，然后借助Hive外表来实现统计结果数据入库HBase的功能。

10.一种支持自定义函数的电网运行数据分布式统计系统，其特征在于，包括：任务调度中心和若干个执行器，若干个执行器形成执行器集群；调度中心与执行器集群之间通过RPC的方式进行远程通信，执行器启动时会向任务调度中心注册该执行器的地址信息；所述任务调度中心用于注册数据统计任务信息，并基于任务的Cron配置来周期性的触发任务的调度执行；所述执行器用于接收数据统计任务的参数信息，根据任务参数信息动态生成任务对应的统计SQL、动态创建UDF函数，然后把任务对应的统计SQL提交给Yarn来运行该统计SQL；所述通过Hive外表的方式来读取HBase表中的数据；

所述任务调度中心包括：任务管理模块、日志管理模块、执行器管理模块和运行报表管理模块，所述任务管理模块用于提供任务注册服务和任务调度服务，所述日志管理模块用于提供任务日志的查询服务，所述执行器管理模块用于提供执行器注册信息的管理服务，所述任务调度中心还提供运行报表管理模块，用于提供调度报表、运行报表、成功比例图的查询展示功能。