[发明专利]一种针对异构环境监测数据融合方法

说明书

本发明提供了一种针对异构环境监测数据融合方法，该方法包括：抽取环境监测感知层多个数据源的原始记录；将所有原始记录整合为联合记录，所述联合记录包括多个数据源中所有字段值之间的映射关系；计算所述联合记录之间的相似度，根据所述相似度确定出重复的联合记录。本发明提出了一种针对异构环境监测数据融合方法，通过分析各个数据源之间字段值的匹配关系，发现并去除冗余监测数据，提高了异构记录之间相似度计算的准确性，为环境监测的后续数据挖掘过程提供了更高质量的数据融合结果。

技术领域

本发明涉及大数据，特别涉及一种针对异构环境监测数据融合方法。

背景技术

随着大数据时代的到来，环境监测部门对感知层数据的采集越来越重要，并产生了大量的数据，分别存储于不同的数据源中。而相对独立、缺乏组织的数据难以发挥充分的价值，因此需要通过异构数据融合将多个数据源进行有效的集成。

现有的常规的融合方法对异构数据源进行融合之前，需要完成对结构化数据库结构的读取，为后期构建检索语句提供基础。而当用户提出新的需求时，则需要人工对平台进行维护和改进，而这些方法往往具有准确度低、缺乏组织等特点。此外感知层数据采集结果与关系数据库的结构不同，大多是以非结构化形态存储，如XML文档。由于环境监测数据源彼此独立，如何消除来自于不同异构数据源之间特别是非关系型数据库的重复数据仍是需要解决的问题。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种针对异构环境监测数据融合方法，包括：

抽取环境监测感知层多个数据源的原始记录；

将所有原始记录整合为联合记录，所述联合记录包括多个数据源中所有字段值之间的映射关系；

计算所述联合记录之间的相似度；

根据所述相似度确定出重复的联合记录。

优选地，所述多个数据源中至少有一个数据源为核心数据源，且所述多个数据源中至少有一个数据源为第三方数据源，对于其中所有字段均来自于核心数据源的联合记录，不参与联合记录之间的相似度计算的步骤。

所述核心数据源的可信度高于预定阈值，所述第三方数据源的可信度低于预定阈值；

优选地，所述计算联合记录之间的相似度，进一步包括：计算联合记录的每两个字段间的相似度值，进而将各个字段的相似度融合为整个联合记录的相似度。

优选地，采用转换代价计算联合记录的每两个字段间的相似度值，所述转换代价描述如下：

对于任意两个字符串x和y，如果对x进行一系列操作进而得到y，则操作次数最少的操作序列表示为字符串x和y的转换代价t(x,y)。如果将x和y分别表示为x₁,…x_n和y₁,…y_m，则递归执行以下过程得到转换代价t(x,y)：

初始化t(0,0)＝0；

令i∈[1,n]；j∈[1,m]

t(0,j)＝j；t(i,0)＝i；

其中x_i和y_j表示字符串x和y的第i个和第j个字符，u(i,j)为t(i-1,j-1),t(i,j-1),t(i-1,j)三者的最小值；

如果字符串x和y的转换代价t(x,y)小于预定义误差距离阈值δ，则确定两个字符串是匹配的。

优选地，所述原始记录为XML文档格式，并且所述抽取环境监测感知层多个数据源的原始记录，进一步包括：

通过XML Schema进行解析和查询形成数据表格式，然后统一表示为联合记录。