[发明专利]一种基于电网能源数据的数据集市层表建立方法

说明书

本发明公开了一种基于电网能源数据的数据集市层表建立方法，包括以下步骤：S01：针对收到的数据集市层表生成请求建立逻辑预估模型，对不同请求之间的逻辑预估模型进行综合重复度检查，如出现若干请求之间的逻辑预估模型重复度高于设置阈值，则保留其中一项请求，将其余请求删除；S02：对于未被删除的请求，根据该请求建立最终逻辑模型，并构建为对应的物理模型；S03：根据物理模型对数据库进行数据提取；S04：根据提取到的数据生成数据集市层表。本发明在任务前期通过判断实体重复度以及关系重复度，并汇总为综合重复度，以识别出内容相似的请求并删除，避免创建重复度过高的数据集市层表，防止运算资源浪费，提高数据处理效率。

技术领域

本发明涉及数据处理领域，特别涉及一种基于电网能源数据的数据集市层表建立方法。

背景技术

在能源大数据中心建设过程中，累计了大量公共能源数据模型，按照能源大数据中心的标准架构，数据集市层表需要基于公共能源数据模型建设。目前公共能源数据模型在规范使用方面仍存在一些问题，导致上层的数据集市层表无法规范建设，亟需开展公共能源数据模型可视化设计方法探索与开发，进而提升数据集市层表的建设规范性。

现有技术中，如公开号CN108959356A的发明公开了一种智能配用电大数据应用系统数据集市建立方法，将用户用电数据、电网运行数据等一系列基础数据通过不同的数据分析和挖掘手段，建成数据集市，为各个应用模块提供应用数据。数据集市基于数据处理为核心，进行数据采集、数据存储、数据清洗、数据分析，最终实现数据分析结果可视化展示的目的，实现大数据应用系统对数据的高速查询和检索。

电网的各业务部门在根据公共能源数据模型来建立数据集市层表的过程中，由于业务领域相近，经常会出现数据集市层表重复度过高的问题，导致计算资源的浪费，降低了数据处理效率，因此为了提高系统的数据处理效率，避免相似信息的重复处理显得尤为重要，而相比于一般的数据信息，数据集市层表通常涉及逻辑实体和实体之间的关联关系，因此简单地对比名称或字词并不能准确获知重复情况。

发明内容

针对现有技术中相似信息的重复处理导致数据处理效率低下的问题，本发明提供了一种基于电网能源数据的数据集市层表建立方法，在任务前期通过判断实体重复度以及关系重复度，并汇总为综合重复度，以识别出内容相似的请求并删除，避免创建重复度过高的数据集市层表，防止运算资源浪费，提高数据处理效率。

以下是本发明的技术方案。

一种基于电网能源数据的数据集市层表建立方法，包括以下步骤：

S01：针对收到的数据集市层表生成请求建立逻辑预估模型，对不同请求之间的逻辑预估模型进行综合重复度检查，如出现若干请求之间的逻辑预估模型重复度高于设置阈值，则保留其中一项请求，将其余请求删除；

S02：对于未被删除的请求，根据该请求建立最终逻辑模型，并构建为对应的物理模型；

S03：根据物理模型对数据库进行数据提取；

S04：根据提取到的数据生成数据集市层表；

其中逻辑预估模型包含逻辑实体及对应的关联关系，所述综合重复度检查的过程包括：每次对比两个不同逻辑预估模型中的逻辑实体，计算重复的逻辑实体数与逻辑实体总数的比值，得到实体重复度；将这两个不同逻辑预估模型中的关联关系分别进行图像转化，以去除逻辑实体的影响，然后对图像转化得到的关系图像进行比对，得到的相似度值为关系重复度；将关系重复度与实体重复度带入公式中计算，得到综合重复度。

其中逻辑实体在本发明中一般为公共能源数据模型中的业务实体，而逻辑实体之间如果存在相同属性则认为这些逻辑实体之间具有关联关系。实体重复度的对比采用的方式较为普遍，可以用词向量的形式进行对比来实现；而关系重复度需要将关联关系的表示方式转化为图像后进行对比得到，以去除逻辑实体不同带来的影响，最后进行逻辑实体和关联关系的汇总，得到综合重复度。