[发明专利]一种用于电力交易数据仓库的质量管控方法及其管控系统

说明书

技术领域

本发明涉及一种电力自动化领域的数据质量管控方法及其系统，具体讲涉及一种用于电力交易数据仓库的质量管控方法及其管控系统。

背景技术

随着智能电网的建设和电力市场的发展，交易运营系统的定位由原来的信息管理发展为交易管控和经营决策。系统运行多年，积累的海量数据成为公司进行市场策略分析的重要资源。基于数据仓库技术，构建电力市场分析系统，用于支撑交易管控、市场辅助决策和市场态势分析等高级运用。其中，高质量的数据是支撑强大的决策优化等应用的前提条件。因此在数据仓库框架中，应独立于实际分析应用，通过平台工具，对数据质量进行统一管控。

数据质量管理(Data Quality Management)，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

现有信息系统的质量管控工具，一般都是为某个应用量身定制，很难脱离业务数据而独立存在。其校验规则和校验逻辑也相对固化，不能满足由业务人员自由定制的需求。另外，数据校验结果，缺乏主动发布和通知的功能，也没有问题解决环节的反馈和跟踪，部分实现了数据的质量监示，几乎没有考虑质量问题的控制。

发明内容

为解决上述现有技术中的不足，本发明的目的是提供一种用于电力交易数据仓库的质量管控方法及其管控系统，针对数据集，通过校验规则灵活定义，进行数据合理性、一致性和完整性和及时性的判定，并对四个管控指标进行统计和历史趋势分析，设计问题处理跟踪反馈机制，便于管理人员制定质量控制措施。系统实现后，作为电力市场数据仓库的重要组成部分，为市场的高级分析和挖掘应用提供了数据质量的保障。

本发明的目的是采用下述技术方案实现的：

本发明提供一种用于电力交易数据仓库的质量管控方法，其改进之处在于，所述方法包括下述步骤

(1)定义校验元数据和校验规则；

(2)设置校验任务；

(3)执行校验服务；

(4)发布数据校验结果；

(5)处理跟踪质量问题。

进一步地，所述步骤(1)中，包括元数据信息设置；数据项是指数据仓库中数据表的值域，其元数据包括非空校验、零校验、是否进行范围校验、最大值、最小值和引用范围校验；数据集是指数据仓库中的一个表，其元数据包括数据频率、时间格式以及数据集维护人信息；通过元数据信息，实现数据本身的合理性校验。

进一步地，所述步骤(1)中，包括设置校验规则；基于数据库表域名技术，实现数据仓库模型选择器，支持对数据集中数据的选择和过滤条件的设置，形成动态查询语句；通过运算符连接动态查询语句，实现数据校验规则定义；元数据校验通过校验规则设定，不需要设置规则表达式，系统直接调用元数据信息。

进一步地，所述步骤(1)中，校验规则定义包括及时性校验的时间定义；时间表达式包括时间类型和时间值；时间类型包括绝对时间和相对时间，绝对时间的格式为年/月/日/时/分；相对时间以小时为单位；时间表达式运用于校验规则中。

进一步地，所述步骤(2)中，校验任务与一个或多个校验规则关联，共享任务执行时间和执行频率。

进一步地，所述步骤(3)中，校验任务由后台进程周期扫描，如果满足执行时间要求，则触发任务，解析关联的校验规则并执行逻辑判断，并记录校验结果。

进一步地，所述步骤(4)中，校验结果结合消息机制，通过邮件或者短信接口，自动发送至数据集的维护人，提醒维护人员尽快处理。

进一步地，所述步骤(5)中，为数据质量的解决过程设计了反馈和跟踪机制，加强了对质量问题的管控智能。

本发明还提供一种用于电力交易数据仓库的质量管控方法的管控系统，其改进之处在于，所述系统包括：

<1>校验规则设置模块：包括元数据信息设置模块、校验规则配置模块和及时性时间定义模块，用于设置数据集的数据项本身、同一个数据集的数据项之间以及不同数据集的数据项之间的数据校验规则；

<2>校验任务管理模块：用于设置校验任务参数，所述校验任务参数包括关联的校验规则、 校验类型、告警级别、任务执行时间、告警通知方式和通知时间；一个任务关联一个或多个校验规则，校验规则共用一套校验任务参数；