[发明专利]多源异构数据的质量评估方法与系统

说明书

本发明提供一种多源异构数据的质量评估方法与模型，通过实时或离线的方式获取待评估数据集，然后针对数据项配置质量规则参数，构建权重矩阵，计算数据集通过率，然后利用数据质量综合评估公式，得出对数据集质量的综合评估结果，不再局限于单一类型数据处理，满足了多源异构数据需求；降低数据质量评估计算的复杂度。

技术领域

本发明涉及智能电网数据管理技术领域，特别涉及一种多源异构数据的质量评估方法与系统。

背景技术

随着信息新技术与智能电网的深度融合，智能传感、自动控制系统、物联网等技术在电网公司发、输、变、配、用等各个环节得到广泛应用，尤其是移动互联网、物联网、5G等新一代通信技术的应用，极大地提升了电网智能设备的数据采集频率和采集范围。伴随着综合能源、能源互联网的快速建设，电网中部署了数以亿计的智能电表设备，成为全链条数据采集和物联通信新技术融合的核心环节。智能电表支撑着电网公司生产运营、监测和管理等重要活动，采集的海量数据已广泛应用于电网公司的核心业务领域。而智能电表的质量对采集数据质量起着决定性作用，低质量的智能电表产生的数据准确性、可靠性均得不到保证，将严重影响电网公司的正常经营。在生产实践中，智能电表的质量往往与采集产生的数据质量呈正相关关系，也受到智能电表在运期间异常、故障等多种因素的影响。因此，通过对智能电表运行生命周期内采集生成的各类数据，结合关联影响的不同业务系统，利用针对多源异构数据的质量评估方法，可实现对不同运行状态下智能电表质量的综合评价。

现有的数据质量评估实现方法分为以下两类：一是通过数据库脚本统计分析的手段来评估历史数据质量水平，在技术和实现上有一定的局限性；二是采用传统机器学习技术，结合神经网络算法来评估数据质量。这种方法需要准备样本数据集来训练神经网络，形成数据质量评估模型，当数据质量规则发生变化时，就需要重新训练新模型，过程比较繁杂。以上方法均基于静态结构化数据集，在面对多源异构数据的评估能力是非常有限的。

因此，需要一种数据质量评估方法和评估系统。

发明内容

本发明的目的在于克服现有技术不足，提供一种多源异构数据的质量评估方法与模型，实现智能电表运行生命周期内采集生成的各类数据和关联业务系统数据的质量评估，降低数据质量评估计算的复杂度。该方法的具体应用是，该方法在电力营销领域开展智能电表质量评价及异常诊断方面，利用智能电表数年产生的海量电流、电压、电能量、功率等电气量采集数据和终端事件数据构建评估模型，可辅助定量评价智能电表模块的质量水平，快速定位智能电表异常原因。

为此，本发明的一个目的在于提出一种多源异构数据的质量评估方法，包括以下步骤，包括以下步骤：S1、获取多源异构海量数据作为待评估数据集；S2、针对所述待评估数据集的特点、关联业务以及数据归属，预设多维度参数的数据质量规则，并对每条数据质量规则的每个维度参数，预设评定的分值范围；S3、利用预设的所述数据质量规则的维度参数分值和重要性权重，构建数据质量规则的权重矩阵；S4、通过计算数据质量规则的通过率，从数据的完整性、准确性、一致性、时效性、规范性多个维度，分别计算数据质量评估得分，结合数据质量规则的权重矩阵，对全部数据质量规则的通过率进行加权求和，得出待评估的数据集的综合评估结果。

优选的，在S1中，获取多源异构海量数据包括以标准化采集任务模板来快速接入各类数据；针对多源异构实时数据，采用消息队列技术获取；针对多源异构海量历史数据，采用数据总线技术获取；所述多源异构数据存储至内存数据库或并行数据库，形成待评估数据集。

在上述任意一项实施例中优选的，在S2中，在预设多维度参数的数据质量规则时，所述维度参数包括所属系统重要性、引用次数、约束类型、规则完备度、评估对象相关度、规则重要性。

在上述任意一项实施例中优选的，在S3中数据质量规则权重矩阵，采用如下公式表示：