[发明专利]电网数据治理平台及方法

说明书

本发明提供电网数据治理平台及方法，该平台包括：元数据管理模块，其从各个业务数据当中提取对其进行描述的元数据及各个元数据的全链关系和关联关系；本体建模模块，其对业务数据和元数据进行聚类，根据聚类结果和多个元数据相互之间的语义关系建立本体模型；数据资产目录模块，其以知识图谱形式展示本体模型；数据标准管理模块，其建立相应业务数据的数据标准；数据质量检查模块，其根据数据标准进生成数据质量检查规则，对相应元数据所描述的业务数据进行质量检查；质量问题修复模块，其定位有质量问题的业务数据并获取修复案例，生成质量问题修复实例进行修复，并将修复好的业务数据返回给业务系统进行更新，并同步更新展示的数据内容。

技术领域

本发明涉及数据处理技术领域，特别涉及电网数据治理平台及方法。

背景技术

电网系统在运行时会产生大量的业务数据，这些业务数据通常存储在业务系统中。业务数据分为结构化数据和非结构化数据，其中：结构化数据(例如电网运行时间、电网产电量等数据)是存储在数据库中的行数据，可以用数据库二维逻辑表来表现；非结构化数据(例如电网运行实时监控视频、实时监控图像等所包含的信息数据)的数据结构不规则或不完整，没有预定义的数据模型，故不方便用数据库二维逻辑表来表现。

现有一种基于元数据的数据治理平台，其从业务系统中采集电网系统运行时产生的业务数据，再从业务数据中提取元数据进行展示，然后对业务数据进行质量检查，若检查出有业务数据出现质量问题，则对检查出有质量问题的业务数据进行修复，然后将修复好的业务数据返回给业务系统进行更新，并同步更新展示中的元数据。但由于业务数据包含有不方便用数据库二维逻辑表来表现的非结构化数据，故目前难以及时检查出有质量问题的业务数据并加以修复。

发明内容

本发明要解决的技术问题是如何及时检查出有质量问题的业务数据并加以修复。

为解决上述技术问题，本发明提供电网数据治理平台，包括：

元数据管理模块，其从业务系统采集来自电网系统的多个业务数据，从各个业务数据当中提取对其进行描述的元数据及来源信息，根据所述来源信息分析出各个元数据的全链关系和关联关系；

本体建模模块，其识别各个业务数据的数据特征和各个元数据的元数据特征，根据所述数据特征和所述元数据特征分别对所述业务数据和所述元数据进行聚类，然后根据各个元数据的全链关系和关联关系建立起多个元数据相互之间的语义关系，再根据聚类结果和所述语义关系建立本体模型；

数据资产目录模块，其以知识图谱形式展示所述本体模型；

数据标准管理模块，其识别所述本体模型中各个元数据所描述的业务数据的属性，根据所述属性建立相应业务数据的数据标准，并对所述数据标准进行管理；

数据质量检查模块，其从数据标准管理模块中获取所述数据标准，并对所述数据标准进行字段拆解，再根据拆解得到的字段生成数据质量检查规则，然后建立数据质量检查规则与相应元数据的映射关系，根据所述映射关系利用所述数据质量检查规则对相应元数据所描述的业务数据进行质量检查；

质量问题修复模块，其从数据质量检查模块中获取检查出有质量问题的业务数据，并获取对该业务数据进行描述的元数据的全链关系，根据该全链关系对有质量问题的业务数据进行来源定位并获取以往的修复案例，根据所述修复案例生成质量问题修复实例，再根据所述质量问题修复实例对有质量问题的业务数据进行修复，并将修复好的业务数据返回给所述业务系统进行更新，并同步更新数据资产目录模块中展示的数据内容。

优选地，所述数据资产目录模块还展示所述数据质量检查模块的质量检查结果。

优选地，所述全链关系包括血缘关系和影响关系。

优选地，所述数据标准包括完整性数据标准、时效性数据标准、一致性数据标准和准确性数据标准当中的至少一个。