[发明专利]一种水文传感器数据质量评估的模型与系统

说明书

本发明提供了一种水文传感器数据质量评估的模型与系统，属于数据处理技术领域。该模型与系统能够解决水文传感器数据质量评估问题，加强了水文传感器数据评估时的规范性与客观性。其中，水文传感器数据质量评估模型包括：待评估数据集；评估指标集：选择合适的评估指标，评估指标包括正确性、完整性、唯一性和有效性；评估规则集：针对每个指标选择若干评估规则；各指标在评估规则下的评估得分。水文传感器数据质量评估系统包括：数据收集模块：收集水文传感器数据，并清除无效数据；数据评估模块：对待评估的数据集进行质量评估；评估结果展示模块：展示数据质量评估时的概要信息及评估后的结果。

技术领域

本发明属于数据处理技术领域，具体涉及一种水文传感器数据质量评估的模型与系统。

背景技术

随着物联网技术的进步，传感器在水资源管理中应用越来越广泛，例如利用传感器监测电导率、PH值、浊度、氨和氯化物等。然而传感器设备通常放置在恶劣的环境中，除了污垢问题的影响，传感器还会受到堵塞、碎片、冰块、设备故障等因素的影响。功能损坏的设备会导致其所记录数据的不确定性，进而降低了数据的可信度。高质量的数据是充分发挥其蕴含的效能的前提和基础。功能强大的数据分析技术、数据分析算法是数据发挥效能的重要手段。这些强大的数据分析技术、算法只有在高质量的数据环境中才能提取出隐含的、准确的、有用的信息。否则，在充满错误数据的大数据环境中提出取来的也是无用的信息。因此有必要提高传感器的数据质量来支持和优化各种应用程序以及复杂的业务决策。

数据质量评估是解决数据质量问题的源头，为了避免由于脏数据导致的错误业务决策，就需要对传感器数据进行数据质量评估。而现有的数据质量评估技术大多是针对关系数据库而言的，并且针对传感器数据提出的评估技术也并不适合对水文传感器数据进行评估，因此有必要针对水文传感器数据质量评估问题进行深入研究。

发明内容

(一)要解决的技术问题

本发明的目的在于克服现有技术的缺陷，提供一种针对水文传感器数据的数据质量评估的模型与系统，通过提出数据质量评估模型框架结构、构建数据质量评估体系来为企业提供高质量的数据保证。

(二)技术方案

1.该解决方案提出的数据质量评估模型

本发明针对水文传感器数据提出了质量评估模型，该模型由待评估数据集、评估指标集、评估规则和评估后综合得分四大部分组成。各部分的含义为：

M(Model)：数据质量评估模型，即

M＝D，I，R，G

D(DataSet)：需要评估的水文传感器数据集。

I(Indicator)：评估数据集D时选择的指标集，指标集包括正确性、完整性、唯一性和有效性四个指标。针对同一数据集，可选择多个指标进行评估，各指标的含义为：

①正确性：传感器数据在采集、传输、转存等过程中是否发生错误，所记录的数据是否符合客观事实。

②完整性：描述传感器数据是否存在缺失记录或缺失字段，反应数据记录客观事实的完备程度。

③唯一性：描述匹配的水文数据在数据源中唯一存在的程度，即是否存在重复记录。

④有效性：描述传感器数据取值是否在用户定义的值域内。

R(Rule)：对各指标I设置的具体规则集合，一个指标可以包含多个规则。

G(Goal)：数据集在各指标和规则下评估后，根据计算公式所计算出的得分。得分的大小反映了评估数据集质量的高低，得分越大，表示数据集的数据质量越好，得分越小，表示数据集的数据质量越差。各指标综合评估得分的计算公式为：