[发明专利]一种设备状态监测数据质量评测体系的构建方法

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种设备状态监测数据质量评测体系的构建方法。

背景技术

在信息时代以大数据为代表的信息技术正以前所未有的广度、深度与电网生产运行和管理快速融合，发挥着越来越重要的作用，成为新时期电网生产管理精益转型的助推器。大数据的核心在于对产生的海量数据进行挖掘和分析，从而快速地获取有价值信息，转化为知识并进行决策和预判。由于生产数据量非常庞大，且分散在各个信息系统，彼此孤立，未能得到有效整合和共享，数据完整性、准确性、一致性等质量问题依然存在。目前数据质量提升面临的主要问题有以下几个方面：

（1）数据来源多：一方面体现在由于信息系统的分散建设，处理数据质量的源头系统多，另一方面体现在同一类数据甚至是同一个属性，可能来源与不同的系统，由于缺少血缘分析，对一部分数据甚至不清楚其源头是哪里；

（2）质量差：包括由于各类字典项不完善导致的产生大量的意义模糊甚至无意义的数据，部分出厂交接的数据以纸质形式存在，旧系统的结构化数据因为没有良好的维护变成无意义的结构化数据；

（3）处理慢：当前电网公司的生产域信息系统处于从历史上分散独立建设向一体化建设的过度阶段，因此系统建设推进和历史数据迁移处于主导地位，数据质量治理工作进展稍处于弱势的地位而没有明显的改善。

因此，针对业务数据数量多、种类庞杂、横跨专业多等特点而引起的数据质量不高的现状，如何利用现有的数据，提高数据质量，满足不同企业的需求是当前面临的一个重要问题。

发明内容

为克服现有技术中存在的不足，本发明提出了一种设备状态监测数据质量评测体系的构建方法，所述方法的技术方案为：

一种设备状态监测数据质量评测体系的构建方法，包括以下步骤：

S1：分析影响数据质量的因素以及存在的数据质量问题；

S2：确定适合所述数据质量的评价维度；

S3：根据步骤S1、S2的分析结果，构建所述数据质量的校验规则；

S4：基于步骤S3所述的校验规则，构建所述数据质量的评价模型。

优选的，所述步骤S1中影响数据质量的因素包括字段、记录、记录类型和数据源。

优选的，所述步骤S2中的评价维度包含完整性、唯一性、一致性、合法性、精确性和及时性。

优选的，所述完整性是表征数据的完备性维度，包含数据的实体缺失、字段缺失、记录缺失和字段值缺失；

所述唯一性是表征数据的唯一性维度，包含数据的主键唯一和候选键唯一；

所述一致性是表征数据关联关系的维度，包含数据来源、冗余存储和数据口径；

所述合法性是表征数据是否在科学合理的范围内，包含数据的格式、类型、域值和业务规则的有效性；

所述精确性是表征数据的精确程度，包含数据格式、数据位数和数据结构的准确性；

所述及时性是表征数据维护的及时性，包含数据接入、数据上传、数据维护和数据应用的及时性。

优选的，所述步骤S2具体包括根据不同的数据类型确定不同的评价维度，所述数据类型包括基础数据、离线运维数据、在线监测数据和指标数据。

优选的，所述基础数据包括台帐数据、规则库、计算方法和计算模型，所述离线运维数据包括设备的缺陷记录数据、预防性试验记录及试验报告数据，所述在线监测数据包括对设备状态实时监测所获得的数据，所述指标数据包括技术指标数据和业务指标数据。

优选的，所述技术指标数据包括数据同步或者数据上送的及时率、成功率、总耗时，以及数据传输的可靠性、经济性、稳定性指标，所述业务指标数据包含设备台帐、运维、在线监测、状态评价、故障预测、技术监督涉及的数据和开展的业务应用的核心指标数据。

优选的，所述基础数据的评价维度包括完整性、唯一性、一致性和合法性，所述离线运维数据的评价维度包括完整性、唯一性、精确性和合法性，所述在线监测数据的评价维度包括完整性、一致性、精确性和及时性，所述指标数据的评价维度包括一致性和及时性。

优选的，所述步骤S3中的校验规则是基于电气物理规律及人工数据判别规律建立的，其生成流程如下：

（1）基础数据规则：数据的特征较为简单，只对完整性、唯一性、一致性和合法性简单的指标进行校核；

（2）在线监测数据规则：首先关联到基础数据规则，通过设备定位，校验相关的基础数据规则，然后校验在线监测数据的规则，包括对的数据完整性、一致性、精确性和及时性的指标进行校验；