[发明专利]一种传感云环境下的数据源质量评估方法

说明书

本发明实施例公开了一种传感云环境下的数据源质量评估方法，包括：获取传感云存储数据源的当前和历史监测数据，所述传感云是云计算和无线传感器网络的结合体，用于收集来自多个传感器节点或传感器子网络的监测数据并加以处理；基于空间关联性和时间关联性整合数据源的监测数据并确定数据真值；基于所述数据真值生成数据源的初始质量评估向量，并根据质量规则调整所述数据源的初始质量评估向量；根据调整后的所述数据源的初始质量评估向量计算所述数据源的最终质量评估结果。采用本发明，可以多角度描述数据源质量，对数据源质量的刻画更为全面。

技术领域

本发明涉及质量评估领域，特别是涉及一种传感云环境下的数据源质量评估方法。

背景技术

目前，已经有一些数据源质量评估方法被提出，现有方法大多基于规则，如条件函数依赖(conditional functional dependency)、条件包含依赖(conditional inclusiondependency)、时效约束(currency constraint)、匹配规则(matching rule)等，来评估数据库中的数据质量，监测劣质数据。基于数据源产生的劣质数据的比例，可以进一步评估数据源质量。数据质量规则一般具有A＝a→B＝b的形式，其语义为“如果属性集合A的值为a，则属性集合B的值必须为b”。通过在数据库中筛选满足规则前件A＝a的数据并检查规则后件B＝b是否满足，可以判断数据中是否存在错误，不满足规则的数据被认为是劣质数据(或称错误数据)，一些数据源的数据质量可能受自身或外部因素影响而下降。这些受到负面影响的劣质数据源如果不能够被及时发现，又会进一步影响基于该数据源的服务的质量。为了能够准确发现劣质数据源，需要一套准确的数据源质量评估方法。

发明内容

为了解决上述问题，本发明提供了一种传感云环境下的数据源质量评估方法，可以多角度更准确的描述数据源质量，对数据源质量的刻画更为全面。

基于此，本发明提供了一种传感云环境下的数据源质量评估方法，包括：一种传感云环境下的数据源质量评估方法，其特征在于，包括：

获取传感云存储数据源的当前和历史监测数据，所述传感云是云计算和无线传感器网络的结合体，用于收集来自多个传感器节点或传感器子网络的监测数据并加以处理；

基于空间关联性和时间关联性整合数据源的监测数据并确定数据真值；

基于所述数据真值生成数据源的初始质量评估向量，并根据质量规则调整所述数据源的初始质量评估向量；

根据调整后的所述数据源的初始质量评估向量计算所述数据源的最终质量评估结果。

其中，所述获取传感云存储数据源的当前和历史监测数据之后，若获取传感云存储数据源的当前和历史监测数据超过阈值，则对所述数据进行数据归约，所述数据归约用于精简数据量，所述数据归约包括逐段聚集近似法或自适应逐段常量近似法。

其中，所述基于空间关联性和时间关联性整合数据源的监测数据并确定数据真值包括：判断数据是否具有空间上的相关性，若数据具有空间上的相关性，则针对给定的数据源s_i，读取s_i周围的一个规则监测区域中的其他传感器节点集合S_N⁽ⁱ⁾以及S_N⁽ⁱ⁾中节点的监测数据序列，S_N⁽ⁱ⁾中的节点构成簇Cluster⁽ⁱ⁾。

其中，所述得到s_i所在的簇Cluster⁽ⁱ⁾后，通过综合位置相似度和数据相似度对S_N⁽ⁱ⁾中节点的监测数据序列进行聚簇，计算Cluster⁽ⁱ⁾每一时刻的质心，以之作为真值的候选序列。