[发明专利]一种支持自定义函数的电网运行数据分布式统计方法及系统

说明书

本发明公开一种支持自定义函数的电网运行数据分布式统计方法及系统，根据数据统计业务规则开发对应的UDF自定义函数；初始化SQL模板、UDF函数等配置信息；通过任务调度中心前端注册统计任务相关信息；调度中心根据统计任务的Cron配置按时触发任务调度，并通过RPC方式向执行器发送调度请求；执行器接收并解析任务参数，根据表名信息给HBase量测表创建对应的Hive映射表；执行器根据任务参数信息动态生成SQL统计语句、完成系统变量设置、创建统计结果表，然后把SQL统计语句提交给Yarn资源管理框架来执行对应的统计任务；数据统计结果写入HBase结果表。本发明解决了现有的基于Kettle的数据统计系统存在的RDB数据库卡死、统计任务执行过慢、数据操作算子不易扩展等痛点问题。

技术领域

本发明属于大数据技术领域，具体是一种支持自定义函数的电网运行数据分布式统计方法及系统。

背景技术

在企业级大数据平台系统中，普遍存在着大量业务相关的需要进行数据统计分析的各种业务需求。这些业务的特点是需要按照一定的业务规则，对数据进行聚合、累加、求极值以及极值对应的时间等统计分析操作。例如电网领域统计容器和设备的特征值，包括最大值、最小值、最大值时间、最小值时间、平均值、积分电量等指标。对于上述业务场景，目前业界存在一系列的解决方案，比如Kettle、Informatica等大数据ETL处理工具，这些数据处理工具具有良好的扩展性，提供了用户友好的GUI操作界面，支持多种数据源类型，是企业级大数据平台数据分析处理的常用选择。

其中，Kettle是一个可视化编程ETL工具，该数据处理工具操作简单、使用方便，是目前比较流行的开源ETL工具。Kettle在数据处理方面已经实现的特性有：可以编写Transformation脚本，完成对数据的基础转换；可以编写Job脚本，完成整个工作流的控制；可以利用定时功能，控制数据统计分析任务的周期执行。Kettle虽然在一定程度上提供了数据分析处理的方法，但是只支持简单的数据分析操作，并且不适用数据量较大的场景。

目前虽然存在一些不错的ETL数据处理工具，但是，在实际生产环境使用中普遍存在以下问题：只支持简单的数据分析操作，如sort、group by、aggregator等，当遇到一些特殊的业务处理场景时，无法自定义扩展操作算子；并且数据处理速度比较慢，遇到数据量大的场景时会出现任务运行慢，甚至任务卡死的问题，无法适用于海量数据的业务场景。然而数据量大、业务操作复杂恰恰又是电网、银行、保险等行业领域数据分析业务的显著特点。针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种支持自定义函数的电网运行数据分布式统计方法及系统，以解决数据分析操作算子匮乏无法满足统计业务需求，数据量大场景下数据统计性能慢、任务卡死等痛点问题。

为实现上述目的，本发明采用的技术方案是：

一种支持自定义函数的电网运行数据分布式统计方法，包括以下步骤：

S1，根据电网运行数据统计业务的功能需求，开发对应的UDF函数；

S2，初始化各种业务类型对应的SQL模板和UDF函数创建语句；

S3，通过任务调度中心前端界面来完成统计任务信息的注册；

S4，调度中心根据任务的Cron配置信息按时触发任务调度，并通过RPC方式向执行器发起任务调度请求；

S5，执行器接收并解析任务参数，根据表名信息给HBase量测表创建对应的Hive映射表；

S6，执行器根据任务参数动态生成统计任务对应的统计SQL语句，执行 UDF函数创建语句，然后把统计SQL语句提交给Yarn资源调度框架来执行统计任务；

S7，电网运行数据统计结果写入HBase结果表；

S8，执行器完成数据统计任务，并返回运行结果。